理解神奇的BERT：自然语言处理的游戏规则改变者？

全文共2975字，预计学习时长6分钟

图源Unsplash

自然语言处理领域中最具突破性的发展是BERT的发布（曾被认为是自然语言处理领域的ImageNet）。与传统的自然语言处理模式相比，BERT层次最高，是具有革命性意义的自然语言处理模式。这给很多现有的计算机逻辑框架、训练方法、语言模型带来了启发，比如说谷歌的TransformerXL, OpenAI’sGPT-2, ERNIE2.0, XLNet, RoBERTa等等。

让我们一起来了解一下BERT，及其在转换自然语言处理方面的潜力。

 

什么是BERT？

BERT（Bidirectional EncoderRepresentations from Transformers）是由谷歌的研究者于2018年开发的 一款开源代码的NLP预训练模型。它是GPT（广义语言模型）的延续，BERT在自然语言处理中优于其他几种模式并且在问答(SQuAD v1.1)、自然语言推理 (MNLI)，和其他框架中提供了最优结果。

BERT建立于预训练上下文表征的基础上——包括半监督序列学习(由Andrew Dai和Quoc Le提出)、ELMo(由Matthew Peters和来自AI2和来自UW,、CSE的研究人员提出)、ULMFiT(由fast.ai 创始人Jeremy Howard和Sebastian Ruder提出)、OpenAI transformer(由OpenAI研究人员Radford、Narasimhan、Salimans和Sutskever提出)和Transformer (Vaswani等人提出)。

BERT之所以在其他框架中如此独一无二，是因为它首次使用深层双向无监督语言表征和在预训练中只使用纯文本语料库。因为BERT是开源的，所以任何人只要懂得机器学习知识，就能轻松地建立起一个NLP模型，且无需使用训练模型的大量源数据集。因此，节约了时间、精力、知识和资源。

最后，在未标记文本的大型语料库中对BER