2020-10-28

 

BERT理解：

是基于双向Transformer的Encoder部分，能够动态学习词嵌入；

和RNN的区别最大的就是，RNN是序列模型，必须要学习完上一个字才能学习下一个，而Transformer的训练是并行的，即所有字都是同时训练的，这样就大大增加了训练效率；

BERT输入部分的处理：

 

e.g：my dog is cute.

Token Embedding：

将输入的词嵌入token化

token后：[“my”,“dog”,“is”,“cute”,“.”]

Segment Embedding:

首尾加上特殊字符：

[CLS]my dog is cute.[SEP]

其中，[CLS]包含着整个句子的信息表征（之所以放在句首，事实上是无所谓位置的，因为transformer是并行的，没有序列关系）

[SEP]可以用来标注句子的末尾，也可以用在两个句子中间，作为两个句子独立的表示。

Position Embedding：

BERT不是序列模型，对每个词都没有位置的概念，所以加入位置嵌入，让模型理解输入单词顺序；

BERT机制介绍：

MASK机制

Next Sentence Predictions

具体补充：https://blog.csdn.net/laobai1015/article/details/87937528