【自然语言处理】BERT 讲解

有任何的书写错误、排版错误、概念错误等，希望大家包含指正。

在阅读本篇之前建议先学习：
【自然语言处理】Seq2Seq 讲解
【自然语言处理】Attention 讲解
【自然语言处理】ELMo 讲解
【自然语言处理】Transformer 讲解

BERT

1. 简介

ELMo 模型可以根据上下文更新词的特征表示，实现了词向量由静态向动态的转变，较好的解决了一词多义问题。不过因 ELMo 依赖 LSTM 的架构，仍然属于自动回归问题，导致其训练只能按部就班，严格遵守从左到右或从右到左的次序进行训练，所以在面对特大语料库时将非常耗时，这种局限也直接影响其性能和扩展性。此外，LSTM 虽然也有记忆功能，但其长期记忆的效果并不理想。

为解决 ELMo 模型的这些问题，人们研究出了新的方法，如 BERT、GPT 等预训练模型，这些模型不再基于 LSTM 框架，而是基于一种更强大的 Transformer 框架，很好地解决了并发问题。另外，相较于 E