Bert（一）

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT模型是来自Transformers的双向编码器表示。Bert是从未标记的文本中在所有层共同训练左、右上下文，旨在预训练双向深层表示。

因此，仅增加一个额外的输出层就而无需进行大量针对特定任务的体系结构修改可就以对经过预训练的BERT模型进行微调，从而创建用于各种任务（例如问题解答和语言推断）的最佳模型。

BERT在概念上很简单，在经验上很强大。 它在11种自然语言处理任务上获得了最佳结果，包括将GLUE得分提高到80.5％（绝对值提高了7.7％），MultiNLI准确性提高到86.7％（绝对值提高了4.6％），SQuAD v1 .1回答测试F1到93.2（绝对值提高了1.5分）和SQuAD v2.0测试F1到83.1（绝对值提高了5.1分）。

1 简介

语言模型预训练已被证明可以有效地改善许多自然语言处理任务（Dai和Le，2015; Peters等，2018a; Radford等，2018; Howard和Ruder，2018）。其中包括句子级任务，例如自然语言推理（Bowman等，2015； Williams等，2018）和释义（Dolan和Brockett，2005），旨在通过对句子之间的关系进行整体分析来预测它们之间的关系。 以及诸如命名实体识别和问题回答之类的令牌级任务，其中需要模型在令牌级程度上产生细粒度的输出（Tjong Kim Sang和De Meulder，2003； Rajpurkar等人，2016）。

现有两种将预训练的语言表示应用于下游任务的策略：基于特征和微调。基于特征的方法，例如ELMo（Peters等，2018a），使用特定于任务的架构，其中包括预先训练的表示作为附加特征。微调方法，例如Generative Pre-trained Transformer（OpenAI GPT）（Radford et al。，2018）引入了特定于任务的最小参数，并通过简单地微调所有预训练的参数对下游任务进行了训练。

文章认为，当前的技术限制了预训练表示的能力，尤其是对于微调方法。主要的限制是标准语言模型是单向的，这限制了可以在预训练期间使用的体系结构的选择。例如，在OpenAI GPT中，作者使用从左到右的体系结构，其中每个令牌只能服从Transformer的自注意层中的先前令牌（Vaswani等，2017）。这种限制对于句子级任务而言不是最佳的，并且在将基于微调的方法应用于令牌级任务（例如问题回答）时可能非常有害，而这对于从两个方向整合上下文至关重要。

在本文中，我们通过提出BERT：来自Transformer的双向编码器表示法，改进了基于微调的方法。BERT受到Cloze任务（Taylor，1953年）“掩盖语言模型”（MLM）预训练目标的启发，减轻了前面提到的单一性约束。
屏蔽语言模型从输入中随机屏蔽了某些标记，目的是仅根据其上下文来预测屏蔽单词的原始词汇ID。不同于从左到右的语言模型预训练，MLM目标使表示能够融合左右上下文，这使我们能够预训练深层双向Transformer。除了屏蔽语言模型，我们还使用了“下一个句子预测”任务，该任务共同预训练了文本对表示。 本文的贡献如下：

• 本文证明了双向预训练对于语言表示的重要性。 不同于Radford等 （2018）使用单向语言模型进行预训练，BERT使用掩码语言模型来启用预训练的深度双向表示。 这也与Peters等人相反（2018a），他们使用了独立训练的从左至右和从右至左的LM的浅层连接。
• 本文表明，经过预训练的表示形式减少了对许多任务特定体系精心设计的结构需求。 BERT是第一个基于微调的表示模型，可在一系列句子级和令牌级任务上实现最先进的性能，其性能优于许多任务特定的体系结构。
• BERT推动了11项NLP任务的发展。 可以在https://github.com/ google-research / bert上找到代码和经过预训练的模型。