Bert简单理解——原理与介绍

1.BERT的作用

学习参考链接：infoQ infoQ2

因为在NLP任务中我们需要大量的任务专有数据，通常情况下只能将文本分成字段，得到几百或者几十万个人工标注的数据，这远远不够NLP任务中所用的训练数据。

所以开发一系列训练通用得语言模型，使用网上爬虫获取的文本（未注释）作为模型输入，得到大量的专有任务需要的数据集,该过程也成为预训练。

Bert就是这样的一个训练通用语言模型的工具。(自己理解意义上的)

2.BERT核心思想

Masked LM 新技术：它随机 mask 句子中的单词，然后尝试预测它们。mask 意味着模型将从两个方向观察，它使用句子的全部上下文，包括左边和右边的环境，来预测被 mask 的词(将某个词盖住，并预测该词)。与之前的语言模型不同，它会同时考虑前一个和下一个标记。现有的基于 LSTM 的从左到右和从右到左的组合模型缺少这个“相同时间的部分”。（更准确地说，BERT 是没有方向性的。）

3.BERT的工作原理

BERT 依附于“Transformer”（一种标注机制，用来学习文本中单词之间的上下文关系）。
Transformer简介：一个基本的