bert论文笔记

本文所有图表均来自https://arxiv.org/pdf/1810.04805.pdf论文中

1。为什么要提出bert模型，相比于其他模型bert模型的 区别和优势

在传统的语言模型中，在这里bert主要比较的是GPT和之前的RNN,相较于RNN模型，bert采用的tranformer的encoder可以并行的优势发挥出来，相较于ELMo，bert采用了tranfoermer特征提取器，使得特征提取的更加完善，而相比于GPT，bert提取文本双向的信息。

在bert之后，预训练模式出圈了 ，所谓的pretrain-train,在一个无标记的数据集上训练的模型，将这个模型的主要的目标是用在别的任务上。

bert的两个训练任务，1.mask预测。2.预测两个句子是否相同

bert一般有三个可调参数 L： block的个数，A代表头的数量 H：代表隐层的数量

base 12 2.hidden 3.110M参数

large 24 1024 340M参数。

bert模型的复杂度与模型的深度层数成线性关心，根据模型的宽度成平方关系。

Encoder的过程中，使用了wordPieceqiece切词模型，如果一个词在词典中出现的概率出现不大的情况下，把它切成一个个子序列，如果他的子序列可能是一个词根。出现的概率比较大的话，只保留他的子序列

MLM的掩码过程，15%的序列替换特定的词源，有80%的概率被替换，10%被随机替换，10%保持变

2，在句子预测的过程中为了让模型识别数据中的不同句子。

这里采用了segment 向量和[seq]进行区分保持，模型可以识别到句子