NLP论文精读系列（一）BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

1. 论文研读笔记

1.1 研究动机

Bert 作为最近最为热门，甚至可以称为近期NLP 里程碑式的研究成果，是值得仔细品读的。Bert 之前elmo 和 GPT已经证明了无监督的预训练可以很好的在监督学习的微调中，发挥作用。Bert的研究动机是作者认为之前的模型没有充分的发挥预训练的表达能力。

1.2 研究方法

区别于之前的elmo，Bert采用双向的Transformer代替了Bi-LSTM。 相比于GPT的单向，和没有encoding, Bert的解决思路是Masked LM 以及继续引入encoding。 在预训练和微调不匹配的问题上，Bert引入多任务的学习：包括单句，句子对以及问答类任务。


Bert 一个很有特色之处在于，输入分两段，采用BPE编码，在预测是随机mask 15% 的单词。

Bert预训练模型的架构：

1.3 实验结果

Bert 在当时11个NLP任务上取得了STOA。

1.4 创新点

Bert 的创新点，论文的总结主要为二：

1. 采用双向Transformer进行预训练语言模型的表达
2. Bert的成功标志着无监督的预训练可以很好的应用在各个监督学习任务上

1.5 个人点评

Bert 在我看来，其实并没有及其出色的创新，更像是水到渠成。 无论是迁移学习的思想，Transformer的应用，还是多任务学习，以及一些预训练的tricker，其实并没有什么颠覆性的设计。但是，从Bert开始，NLP的一些精巧设计至少在主流任务上已经无法 匹敌大厂的算力优势。

2. 模型调试心得

2.1 模型地址

2.2 模型运行环境

2.3 数据集选择与下载

2.4 模型运行步骤

2.5 问题与解决方法汇总

2.6 个人点评