bert论文学习之简评

Pre-training of Deep Bidirectional Transformers for Language Understanding

对于现有的NLP任务，我们这样说似乎是无可厚非的，那就是对文本抽象出某种合适的数值表征，是十分重要的。

因为不同的表征所内涵的语义信息，段落信息是不同的；在我们熟知的语言模型中，Word2vec，elmo都是很出色的，这两者分别用浅层神经网络和双向LSTM提取词向量。对于本篇中的bert，与这两者有很大区别。bert采用很深的双向transformer，并且引入了mask language model和next sentence预测，可以实现对大规模的无标签文本进行训练，提取词语表征；可以想象，这样的词向量是很具有普遍性语义信息的。对于为何要遮蔽一些词，可能是可以通过学习上下文语境对遮蔽的词进行预测，这属于token级别的信息表达；另外对于下一句话的预测，属于句子级别的信息表达。bert模型之所以选择transformer作为基本处理器，而没有选择biLSTM，是作者认为transformer更能实现双向信息提取。毕竟biLSTM属于从左到右和从右到左词向量的concat，属于两个独立过程的拼接。bert的不足之处，首先就是需要大规模的语料才能训练处大量的参数，而且需要昂贵的算力设施。其次就是模型输入的position信息，代表序列顺序信息，相比于LSTM，可以说有点薄弱。