BERT：nlp领域跨时代的预训练模型

2018年是nlp重大改革的一年，bert的横空出世使得未来nlp的发展有利跨时代的进步，其在多个领域的完美成功使nlp研究方向有了很大的改变，一直到现在很多比赛的榜单都是由bert或者其畸形霸占。本文让我们简单了解bert，看看它是如何达到如此成就的。

Bert：

bert其实并没想象中的那么复杂，只要了解其中的几个知识点和两幅图便可以知晓它的原理和思想。而bert与其他网络之间也有很多参考和改变，详细见前篇博客：Pre-training in nlp | Ripshun Blog

知识点：

• contextual word representation 语义词表征
• pre-training and fine-tuning 预处理和微调
• transfromer
• WordPiece：字面意思，把word拆成piece一片一片
• （token，position，segment） embedding
• Masked LM And Next Sentence Prediction (NSP)

contextual word representation

传统的词向量嵌入方法（word2vec等等）没有考虑词的语义，即一词多义。在ELMO之中注意到了这一点。ELMO通过双向LS