[论文笔记] BERT

BERT 用 WordPiece工具来进行分词，并插入特殊的 分离符（[CLS]，用来分隔样本）和 分隔符（[SEP]，用来分隔样本内的不同句子）。

1. BERT介绍

• BERT(Bidirectional Encoder Representation from Transformers)是2018年10月由Google AI研究院提出的一种预训练模型，该模型在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩: 全部两个衡量指标上全面超越人类，并且在11种不同NLP测试中创出SOTA表现，包括将GLUE基准推高至80.4% (绝对改进7.6%)，MultiNLI准确度达到86.7% (绝对改进5.6%)，成为NLP发展史上的里程碑式的模型成就。

• BERT的网络架构使用的是多层Transformer的encoder结构，如 图1 所示。其最大的特点是抛弃了传统的RNN和CNN，通过Attention机制将任意位置的两个单词的距离转换成1，有效的解决了NLP中棘手的 长期依赖