2018 BERT:Pre-training of Deep Bidirectional Transformers forLanguage Understanding

摘要

        我们引入一种新的语言表示模型-BERT，代表来自于Transformers的双向编码器表示。与最近的语言表示模型不同(Peters等人，2018a；Radford等人，2018)，BERT的设计是从未标签的文本中通过联合调节所有层的左右上下文来预训练深度双向表示，因此，预训练过的BERT模型可以只需一个额外的输出层来微调，从而为各种任务创建最先进的模型，如问题回答和语言推理，而不需要大量特定于任务的体系结构修改。

        BERT概念简单，经验强大，在11个自然语言处理任务上获得了最先进的结果，包括将GLUE评分推至80.5%（7.7%绝对改善），MultiNLI准确率达到86.7%(4.6%绝对改善%，SQuADv1.1问题回答测试F1至93.2（1.5分绝对改善）和SQuADv2.0测试F1至83.1（5.1分绝对改善）。

一、介绍

        语言模型预训练已被证明可以有效地改善许多自然语言处理任务，这些任务包括句子级任务，如自然语言推理，和释义，目的是通过整体分析句子来预测句子之间的关系，以及标记级任务，如命名实体识别和问题回答，模型需要在标记水平上产生细粒度输出。

        现有两种策略将预训练过的语言表示应用到下游任务中：基于特征和微调。如ELMo(使用特定任务的架构，包括预训练的表示作为附加特征)和生成性的预训练的Transformer(引入最小特定任务参数，通过简单微调所有预训练的参数，在下游任务上进行训练)，这两种方法都使用单向语言模型学习语言表示。

        我们认为，目前的技术限制了预训练的表示的能力，特别是对于微调方法。主要限制是标准语言模型是单向的，限制了在预训练中可以使用的体系结构。这种限制对句子级任务是次优的，并且在对诸如问答等应用基于微调的标记级任务时可能非常有害，在问题回答中，合并从两个方向的上下文是至关重要的。

        本文我们提出BERT改善基于微调的方法：来自Transformers的双向编码器表示。BERT通过使用“掩蔽语言模型”(MLM)预训练目标，减轻了前面提到的单向性约束，该目标受到Cloze任务的启发(Taylor，1953)。掩蔽语言模型从输入中随机掩蔽一些标记，目标是只基于上下文来预测掩蔽的单词的原始词汇id。与左到右语言模型的预训练不同，MLM目标使表示能够融合左右上下文，这允许我们对深度双向Transformer进行预训练。除了掩蔽语言模型，我们还使用了一个“下一个句子预测”任务，联合预训练句子对表示。

        我们的论文的贡献如下：1.论证了双向预训练对语言表示的重要性，BERT使用掩蔽语言模型来实现预训练的深度双向表示。2. 我们表明，预训练的表示减少了对大量精心设计的特定任务的体系结构的需求，BERT是第一个基于微调的表示模型，