预训练模型BERT简单介绍

1.BERT模型

BERT的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。

1.1 BERT的模型结构

BERT模型进一步增加词向量模型泛化能力，充分描述字符级、词级、句子级甚至句间关系特征。

1.2 Embedding

bert中有三种embedding，即Token Embedding ，Segment Embedding，Position Embedding。

• Token Embeddings是词向量，第一个单词是CLS标志，可以用于之后的分类任务
• Segment Embeddings用来区别两种句子，因为预训练不光做LM还要做以两个句子为输入的分类任务
• Position Embeddings，这里的位置词向量不是transfor中的三角函数，而是bert经过训练学到的。

因为transformer既没有R