bert下游_BERT下游任务finetune列表

最新推荐文章于 2024-08-14 09:48:39 发布
最新推荐文章于 2024-08-14 09:48:39 发布
阅读量505 收藏
点赞数
文章标签： bert下游
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39939665/article/details/111973066
版权
本文记录了BERT模型在多个下游任务如阅读理解（CMRC 2018, DRCD, CJRC, CHID, C3）中的微调过程，包括不同版本的BERT、RoBERTa、ALBERT的性能比较。使用了pytorch和tensorflow，并探讨了FP16训练和tensorflow的blocksparse优化。" 103660800,7574290,关联规则挖掘详解,"['数据挖掘', '关联规则', 'Apriori', 'FP-Growth', '数据分析']
摘要由CSDN通过智能技术生成

BERT下游任务finetune列表

finetune基于官方代码改造的模型基于pytorch/tensorflow双版本

*** 2019-10-24: 增加ERNIE1.0, google-bert-base, bert_wwm_ext_base部分结果, xlnet代码和相关结果 ***

*** 2019-10-17: 增加tensorflow多gpu并行 ***

*** 2019-10-16: 增加albert_xlarge结果 ***

*** 2019-10-15: 增加tensorflow(bert/roberta)在cmrc2018上的finetune代码(暂仅支持单卡) ***

*** 2019-10-14: 新增DRCD test结果 ***

*** 2019-10-12: pytorch支持albert ***

*** 2019-12-9: 新增cmrc2019 finetune google版albert, 新增CHID finetune代码***

*** 2019-12-22: 新增c3 finetune代码和CHID, c3的部分结果***

*** 2020-6-4: 新增pytorch转tf，tf转pb，以及pb测试demo***

模型及相关代码来源

关于pytorch的FP16

FP16的训练可以显著降低显存压力(如果有V100等GPU资源还能提高速度)。但是最新版编译的apex-FP16对并行的支持并不友好(https://github.com/NVIDIA/apex/issues/227)

实践下来bert相关任务的finetune任务对fp16的数值压力是比较小的，因此可以更多的以计算精度换取效率，所以我还是倾向于使用老版的FusedAdam+FP16_Optimizer的组合。

由于最新的apex已经舍弃这2个方法了，需要在编译apex的时候额外加入命令--deprecated_fused_adam

pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" --global-option="--deprecated_fused_adam" ./

关于tensorflow的blocksparse

blocksparse(https://github.com/openai/blocksparse)

可以在tensorflow1.13版本直接pip安装，否则可以自己clone后编译。

其中fast_gelu以及self-attention中的softmax能够极大缓解显存压力。另外部分dropout位置我有所调整，整体显存占用下降大约30%~40%。

model

length

batch

memory

roberta_base_fp16

512

32

16GB

roberta_large_fp16

512

12

16GB

参与任务

CMRC 2018：篇章片段抽取型阅读理解(简体中文，只测了dev)

DRCD：篇章片段抽取型阅读理解(繁体中文，转简体, 只测了dev)

CJRC: 法律阅读理解(简体中文, 只有训练集，统一90%训练，10%测试)

CHID: 多选成语阅读理解

C3: 多选中文阅读理解

评测标准

验证集一般会调整learning_rate，warmup_rate，train_epoch等参数，选择最优的参数用五个不同的随机种子测试5次取平均和括号内最大值。测试集会直接用最佳的验证集模型进行验证。

模型介绍

L(transformer layers), H(hidden size), A(attention head numbers), E(embedding size)

特别注意brightmart roberta_large所支持的max_len只有256

models

config

google_bert_base

L=12, H=768, A=12, max_len=512

siBert_base

L=12, H=768, A=12, max_len=512

siALBert_middle

L=16, H=1024, E=128, A=16, max_len=512

哈工大讯飞 bert_wwm_ext_base

L=12, H=768, A=12, max_len=512

哈工大讯飞 roberta_wwm_ext_base

L=12, H=768, A=12, max_len=512

哈工大讯飞 roberta_wwm_ext_large

L=24, H=1024, A=16, max_len=512

ERNIE1.0

L=12, H=768, A=12, max_len=512

xlnet-mid

L=24, H=768, A=12, max_len=512

brightmart roberta_middle

L=24, H=768, A=12, max_len=512

brightmart roberta_large

L=24, H=1024, A=16, max_len=256

brightmart albert_large

L=24, H=1024, E=128, A=16, max_len=512

brightmart albert_xlarge

L=24, H=2048, E=128, A=32, max_len=512

google albert_xxlarge

L=12, H=4096, E=128, A=16, max_len=512

结果

参数

未列出均为epoch2, batch=32, lr=3e-5, warmup=0.1

models

cmrc2018

DRCD

CJRC

哈工大讯飞 roberta_wwm_ext_base

epoch2, batch=32, lr=3e-5, warmup=0.1

同左

同左

哈工大讯飞 roberta_wwm_ext_large

epoch2, batch=12, lr=2e-5, warmup=0.1

epoch2, batch=32, lr=2.5e-5, warmup=0.1

-

brightmart roberta_middle

epoch2, batch=32, lr=3e-5, warmup=0.1

同左

同左

brightmart roberta_large

epoch2, batch=32, lr=3e-5, warmup=0.1

同左

同左

brightmart albert_large

epoch3, batch=32, lr=2e-5, warmup=0.05

epoch3, batch=32, lr=2e-5, warmup=0.05

epoch2, batch=32, lr=3e-5, warmup=0.1

brightmart albert_xlarge

epoch3, batch=32, lr=2e-5, warmup=0.1

epoch3, batch=32, lr=2.5e-5, warmup=0.06

epoch2, batch=32, lr=2.5e-5, warmup=0.05

cmrc2018(阅读理解)

models

setting

DEV

哈工大讯飞 roberta_wwm_ext_large

tf单卡finetune batch=12

F1:89.415(89.724) EM:70.593(71.358)

models

DEV

google_bert_base

F1:85.476(85.682) EM:64.765(65.921)

sibert_base

F1:87.521(88.628) EM:67.381(69.152)

sialbert_middle

F1:87.6956(87.878) EM:67.897(68.624)

哈工大讯飞 bert_wwm_ext_base

F1:86.679(87.473) EM:66.959(69.09)

哈工大讯飞 roberta_wwm_ext_base

F1:87.521(88.628) EM:67.381(69.152)

哈工大讯飞 roberta_wwm_ext_large

F1:89.415(89.724) EM:70.593(71.358)

ERNIE1.0

F1:87.300(87.733) EM:66.890(68.251)

xlnet-mid

F1:85.625(86.076) EM:65.312(66.076)

brightmart roberta_middle

F1:86.841(87.242) EM:67.195(68.313)

brightmart roberta_large

F1:88.608(89.431) EM:69.935(72.538)

brightmart albert_large

F1:87.860(88.43) EM:67.754(69.028)

brightmart albert_xlarge

F1:88.657(89.426) EM:68.897(70.643)

DRCD(阅读理解)

models

DEV

TEST

google_bert_base

F1:92.296(92.565) EM:86.600(87.089)

F1:91.464 EM:85.485

siBert_base

F1:93.343(93.524) EM:87.968(88.28)

F1:92.818 EM:86.745

siALBert_middle

F1:93.865(93.975) EM:88.723(88.961)

F1:93.857 EM:88.033

哈工大讯飞 bert_wwm_ext_base

F1:93.265(93.393) EM:88.002(88.28)

F1:92.633 EM:87.145

哈工大讯飞 roberta_wwm_ext_base

F1:94.257(94.48) EM:89.291(89.642)

F1:93.526 EM:88.119

哈工大讯飞 roberta_wwm_ext_large

F1:95.323(95.54) EM:90.539(90.692)

F1:95.060 EM:90.696

ERNIE1.0

F1:92.779(93.021) EM:86.845(87.259)

F1:92.011 EM:86.029

xlnet-mid

F1:92.081(92.175) EM:84.404(84.563)

F1:91.439 EM:83.281

brightmart roberta_large

F1:94.933(95.057) EM:90.113(90.238)

F1:94.254 EM:89.350

brightmart albert_large

F1:93.903(94.034) EM:88.882(89.132)

F1:93.057 EM:87.518

brightmart albert_xlarge

F1:94.626(95.101) EM:89.682(90.125)

F1:94.697 EM:89.780

CJRC(带有yes,no,unkown的阅读理解)

models

DEV

siBert_base

F1:80.714(81.14) EM:64.44(65.04)

siALBert_middle

F1:80.9838(81.299) EM:63.796(64.202)

哈工大讯飞 roberta_wwm_ext_base

F1:81.510(81.684) EM:64.924(65.574)

brightmart roberta_large

F1:80.16(80.475) EM:65.249(66.133)

brightmart albert_large

F1:81.113(81.563) EM:65.346(65.727)

brightmart albert_xlarge

F1:81.879(82.328) EM:66.164(66.387)

CHID(多选成语阅读理解)

models

DEV

TEST

OUT

google_base

82.20

82.04

77.07

哈工大讯飞 roberta_wwm_ext_base

83.78

83.62

-

哈工大讯飞 roberta_wwm_ext_large

85.81

85.37

81.98

brightmart roberta_large

85.31

84.50

-

brightmart albert_xlarge

79.44

79.55

75.39

google albert_xxlarge

83.61

83.15

79.95

C3(多选中文阅读理解)

models

DEV

TEST

哈工大讯飞 roberta_wwm_ext_base

67.06

66.50

哈工大讯飞 roberta_wwm_ext_large

74.48

73.82

google albert_xxlarge

73.66

73.28

brightmart roberta_large

67.79

67.55

weixin_39939665
关注
文本分类：Bert微调并完成下游任务
u011340759的博客
05-25 2591
1. 克隆Bert并获取预训练模型 $ git clone https://github.com/google-research/bert.git 依赖和环境: Tensorflow-gpu version 1.15 （不建议使用TF2） Python version: 3.7 CUDA Version: 10.2 预训练模型： https://github.com/google-research/bert 2. 改写自己的分类器读写函数 run_classifier.py class MyProc.
【BERT下游任务】意图分类：1. 数据处理与加载
尊新必威的博客
09-06 1680
目录一、数据形式二、标签集：将所有出现的意图标签统计出来三、样本读取为样本实例四、将数据处理成可以喂给模型的特征 任务简介： 学习一个简单的bert意图分类项目，了解bert进行nlp任务时的流程。 任务说明： 标签类别收集 训练样本读取 样本转化为符合BERT模型的特征 一、数据形式 使用的atis数据集已经将训练集、验证集和测试集区分好 label文件保存了意图识别的标签 seq.in文件每行保存了一句输入样本 seq.out文件每行保存了样本的NER标签序列，以空格隔开(ner任
如何使用BERT进行下游任务 - Transformer教程
shandianfk_com的博客
08-14 314
BERT是一种强大的预训练语言模型，通过预训练和微调两个阶段，它在自然语言处理的多种任务上表现出色。本文详细介绍了如何使用BERT进行下游任务，尤其是文本分类任务，包括安装必要库、加载模型和数据、数据预处理、微调模型以及评估和预测等步骤。此外，BERT还在问答系统、命名实体识别等其他任务中有广泛应用。
NLP-了解BERT下游任务
热门推荐
weixin_44077556的博客
11-30 2万+
MNLI：大规模分类任务，目标是预测第二个句子相对于第一个句子是包含，矛盾还是中立。QQP：二分类任务，预测Quora在两个语义问题上是否等效。STS-B：语义文本相似性基准，从新闻头条或者其他来源提取句子对的集合。然后按分值标注，表示两个句子在语义上多相似。MRPC：自动从在线新闻源中提取句子对组成，并带有人工标注，以说明句子对中的句子在语义上是否等效。SWAG: 对抗生成的情境数据集包含113k个句子对完整示例，用于评估扎实的常识推理。给定一个句子，任务是在四个选择中选择最合理的连续性。
使用Bert获得句向量，用于下游任务
u011340759的博客
05-25 2742
处理文本分类任务时，除了语义信息可能还可以使用一些其他结构化特征（如语料来源，说话人信息等等）。此时可以使用Bert获取原始语料的句向量，再结合已知的结构化特征，训练适用于下游任务的分类器。 1. 微调Bert预训练模型 见 https://blog.csdn.net/u011340759/article/details/106331620 2. 使用Bert特征抓取接口 extract_features.py 改写自己的样本输入函数 def read_examples(input_file): """
微调BERT模型,同时构建自己的数据集实现分类_Bert_Fine_Tune_For_Classfier.zip
最新发布
09-16
微调BERT模型,同时构建自己的数据集实现分类_Bert_Fine_Tune_For_Classfier
基于transformers+bert预训练模型在语义相似度任务上的finetune
03-22
标题中的“基于transformers+bert预训练模型在语义相似度任务上的finetune”指出，这个项目关注的是如何利用transformers库以及BERT（Bidirectional Encoder Representations from Transformers）预训练模型来微调...
【Bert、T5、GPT】fine tune transformers 文本分类/情感分析
05-30
fine-tune transformers distilbert-base-uncased - distilbert 是对 bert 的 distill 而来 - 模型结构更为简单， - bert-base-uncased 参数量：109482240 - distilbert-base-uncased 参数量：66362880 - trainer...
《Fine-tune BERT for Extractive Summarization》论文分享.pptx
09-23
《Fine-tune BERT for Extractive Summarization》论文分享 该论文分享主要讨论的是如何使用预训练的语言模型 BERT 进行抽取式文本摘要任务，论文中提出了修改 BERT 输入层和摘要层的方法，以适应抽取式文本摘要...
详述BERT fine-tune 中文分类实战及预测
xavier_muse的博客
07-13 6399
这几天在研究bert fine-tune相关的知识，现在基本熟悉了，也踩了一些坑，记录一下，一是总结，二是备忘。 bert 的 finetune 主要存在两类应用场景：分类和阅读理解。因分类较为容易获得样本，以下以分类为例，做模型微调： 环境：python 3.6 tensorflow:1.12（必须>=1.11） 完成中文分类需要有一、bert官方开源的代码，二、bert开源的预训练的中文...
BERT:修改官方bert以便执行下游任务
05-10
伯特 修改官方bert以便执行下游任务 支持OQMRC，LCQMC，知识提炼，对抗性干扰和bert + esim进行多项选择，分类和语义匹配 对于OQMRC，对于LCQMC，我们可以在开发集上获得0.787％，对于测试集，我们可以得到0.864。 支持任务预训练和微调 对于下游任务，我们将蒙版lm添加为辅助损耗，可以将其视为降噪并类似于字丢失，以实现稳定的性能。
BERT从零详细解读：如何微调BERT，提升BERT在下游任务中的效果
weixin_40064300的博客
04-24 4767
a)是句子对的分类任务 b)是单个句子的分类任务 c) 是问答任务 d)是序列标注任务 首先我自己最常用的就是：文本分类、序列标注和文本匹配。 这四个都是比较简单的，我们来看d)序列标注，其实就是把所有的token输出，做了一个softmax，去看它属于实体中的哪一个。对于单个样本，它的一个文本分类就是使用CLS这边，第一个CLS的输出，去做一个微调，做一个二分类，或者是多分类。 a)这个其实本质是一个文本匹配的一个任务，文本匹配就是把两个句子拼接起来，去判断它是否相似。左上角也是用CLS输出判断，0不相.
bert下游_【NLP】彻底搞懂BERT
weixin_39996234的博客
12-24 541
一、词向量模型这里主要横向比较一下word2vec，ELMo，BERT这三个模型，着眼在模型亮点与差别处。传统意义上来讲，词向量模型是一个工具，可以把真实世界抽象存在的文字转换成可以进行数学公式操作的向量，而对这些向量的操作，才是NLP真正要做的任务。因而某种意义上，NLP任务分成两部分，预训练产生词向量，对词向量操作(下游具体NLP任务)。从word2vec到ELMo到BERT，做的其实主要是把...
BERT学习笔记（利用到下游任务）
Resurrected_Eagle的博客
09-05 682
Tansformer Transformer优点： 并行计算（解决RNN不能并行问题）。 self-attention。 多语义词(杜鹃（花、鸟）)，在不同语境和上下文表示不一样。 Self_attention 转换为Q（查询向量）,K（被查询向量）,V（特征信息），计算Q与K的内积 每一个词Q会跟整个序列中每一个K做内积计算得分，基于得分分配权重（内积就是计算相似度，垂直就无关系） 下图是一个词的向量计算的原理，如果合成为一个矩阵（就是并行计算了），这个就是Transfomer并行计算的作用。
探索BERT的无限可能：一站式下游任务精调方案
gitblog_00014的博客
06-07 413
探索BERT的无限可能：一站式下游任务精调方案 项目地址:https://gitcode.com/ewrfcas/bert_cn_finetune BERT（Bidirectional Encoder Representations from Transformers）自2018年推出以来，已经在自然语言处理领域产生了深远影响。这款预训练模型以其强大的语义理解和生成能力，为众多NLP任务提供了坚实...
【NLP】bertorch: 基于 pytorch 的 bert 实现和下游任务微调
fengdu78的博客
05-31 2206
bertorch ( https://github.com/zejunwang1/bertorch ) 是一个基于 pytorch 进行 bert 实现和下游任务微调的工具，支持常用的自然语言处理任务，包括文本分类、文本匹配、语义理解和序列标注等。1. 依赖环境2. 文本分类3. 文本匹配4. 语义理解4.1 SimCSE4.2 In-Batch Negatives5. ...
bert下游_BERT---容易被忽视的细节
weixin_29247219的博客
01-02 276
最近面试，被问到一些模型的相关细节，所以又重新读了一些论文BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding论文地址：Bert论文细节一：Bert的双向体现在什么地方？Bert可以看作Transformer的encoder部分。Bert模型舍弃了GPT的attention mask。双向主...
addleNLP对于各种预训练模型已经内置了对于下游任务文本分类Fine-tune网络
qq_15821487的博客
07-16 244
不仅预训练模型有了，下游任务也集成进来了 PaddleNLP一键加载预训练模型 快递单信息抽取本质是一个序列标注任务，PaddleNLP对于各种预训练模型已经内置了对于下游任务文本分类Fine-tune网络。以下教程以ERNIE为预训练模型完成序列标注任务。 paddlenlp.transformers.ErnieForTokenClassification()一行代码即可加载预训练模型ERNIE用于序列标注任务的fine-tune网络。其在ERNIE模型后拼接上一个全连接网络进行分类。 paddlenlp
How to Fine-Tune BERT for Text Classification?
05-19
Fine-tuning BERT for text classification involves the following steps: 1. Prepare your dataset: You need to prepare your dataset in a format that BERT can understand. For text classification, the input format consists of a pair of text sequences - the input text and the corresponding label. 2. Preprocess your dataset: You need to preprocess your dataset by tokenizing the text, adding special tokens ([CLS] and [SEP]), and converting the tokens to their corresponding IDs. 3. Load the pre-trained BERT model: You can use the pre-trained BERT model provided by Google or any other pre-trained BERT model and load it into memory. 4. Fine-tune the BERT model: You can fine-tune the BERT model by training it on your dataset. During training, you can adjust the hyperparameters such as the learning rate, batch size, and number of epochs. 5. Evaluate the model: After training, you can evaluate the model on a separate validation set to see how well it performs. You can use metrics such as accuracy, precision, recall, and F1 score to evaluate the model. 6. Test the model: Once you are satisfied with the performance of the model, you can use it to make predictions on new, unseen data. Overall, fine-tuning BERT for text classification is a powerful technique that can achieve state-of-the-art results on a wide range of NLP tasks.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值