bert 论文阅读笔记

论文：https://arxiv.org/pdf/1810.04805.pdf

1、每个序列的第一个标签为[CLS]、句子中间用[SEP]来分割

     用A、B 来表示前后两个句子

Masked LM（Mask方法预测单词）

       双向的上下文学习方法存在每个单词间接“看到自己”的问题，所以Bert随机屏蔽一定比例（15%）的输入标记，然后预测那些被屏蔽的标记。虽然MASK机制解决了单词简介“看到自己”的问题，但缺点是在预训练和微调之间造成了不匹配，因为 [MASK] 令牌在微调期间不会出现。

        为了缓解这种情况，Bert并不总是用实际的 [MASK] 标记替换“掩码”词。 训练数据生成器随机选择 15% 的标记位置进行预测。 如果选择第 i 个令牌，我们将用 (1) 80%  [MASK] 令牌 (2) 10% 的随机令牌 (3) 10% 未更改的第 i 个令牌替换第 i 个令牌

Next Sentence Prediction（预测下一个句子）

     为了训练一个理解句子关系的模型，Bert预训练了一个二值化的下一句预测任务，该任务可以从任何单语语料库中轻松生成。 具体来说，当为每个预训练示例选择句子 A 和 B 时，50%  B 是 A 之后的实际下一个句子（标记为 IsNext），50% 它是来自语料库的随机句子（标记为 作为 NotNext）

 如图 1 所示，C 用于下一句预测 (NSP)