BERT、ALBERT、RoBerta、ERNIE模型对比和改进点总结

xuyupeng_sjtu

已于 2022-08-01 14:29:00 修改

阅读量3.5k

点赞数

文章标签： bert 人工智能深度学习

于 2022-07-31 11:06:04 首次发布

本文链接：https://blog.csdn.net/xuyupeng_sjtu/article/details/126083010

版权

本文总结了BERT、ALBERT、RoBERTa和ERNIE四大预训练模型的核心特点和改进点。BERT使用MLM和NSP任务，但存在训练效率低等问题；ALBERT通过矩阵分解和跨层共享提高效率，引入SOP任务增强句子连贯性学习；RoBERTa放弃了NSP，专注MLM，提升了预训练效果；ERNIE则增加了短语和实体级别的mask，结合外部知识，特别适合中文场景。这些模型的改进旨在提升模型在下游任务中的性能。

摘要由CSDN通过智能技术生成

1. BERT总结

MLM (Masked language model)
NSP (Next Sentence Prediction)

MLM ：

在一句话中随机选择 15% 的词汇用于预测。对于在原句中被抹去的词汇， 80% 情况下采用一个特殊符号 [MASK] 替换， 10% 情况下采用一个任意词替换，剩余 10% 情况下保持原词汇不变。这么做的主要原因是：在后续微调任务中语句中并不会出现 [MASK] 标记，而且这么做的另一个好处是：预测一个词汇时，模型并不知道输入对应位置的词汇是否为正确的词汇（ 10% 概率），这就迫使模型更多地依赖于上下文信息去预测词汇，并且赋予了模型一定的纠错能力。上述提到了这样做的一个缺点，其实这样做还有另外一个缺点，就是每批次数据中只有 15% 的标记被预测，这意味着模型可能需要更多的预训练步骤来收敛。

bert 缺点：

MLM直接对单个token进行随机mask，丢失了短语和实体信息，这一点对中文尤其明显，百度ERNIE对其进行了改进

MLM仅预测被mask的token，其他token没有参与到预测中。而GPT等语言模型可以对每个token进行预测。导致MLM训练效率偏低，训练时间过长。这一点BERT论文自己也提到了，ELECTRA围绕这一点进行了改进。

NSP任务可以学到sequence level信息，但仅为一个二分类，且负样本构造过于简单，导致模型不能充分训练。之前BERT的消融分析中也看到了，NSP对下游任务的作用比MLM要小。SpanBERT、ALBERT、Roberta均提到了这一点&#x