Bert预训练

Bert模型的目的：

预训练Transformer的encoder网络，从而大幅提高准确率

主要有两个任务：

1、预测被遮挡单词：

随机遮挡一个词或多个词，让encoder根据上下文来预测被遮挡的单词

2、预测下一个句子：

把两个句子放在一起，让encoder判断是否是原文中相邻的两个句子

预测被遮挡单词：

首先输入一句话，然后这句话被分词成了一个个的单词，通过embedding层把每一个单词映射成一个个的词向量x1x2...xt ，最后也输出u1u2....ut这么多向量

具体过程：

假如现在我们遮挡住了cat这个单词

那么我们会用mask标记这个被遮挡的单词，紧接着它就会被embedding层标记为Xm向量，输出记为Um向量，我们知道，Transformer的映射是多对一，所以Um向量会依赖所有的X向量，也就是说它会知道整句话的内容，那么就可以用它来预测被遮挡的单词是什么，将这个Um作为特征向量送入softmax分类器输出一个概率分布p，根据这个p值来判断被遮挡的词是什么