从jieba分词到BERT-wwm——中文自然语言处理（NLP）基础分享系列（11）

Transformer改变一切

前面我们已经学习了针对我们的业务目标——「辨别新闻标题A和B的关系」，如何训练一个LSTM孪生神经网络模型，并获得较好的测试验证结果。
这期我们跟着NLP技术路线的进化，认识一下一个划时代的全新网络「Transformer」。是的，名不虚传，它真的就像「变形金刚」一样厉害。
同样，今天的内容没有代码。

Attention Is All You Need

Transformer的故事开始于Google的一篇公开论文『Attention Is All You Need』，https://arxiv.org/abs/1706.03762 。
对于这篇巨作，网上有很多解读性的文章。本系列不会花太多篇幅重述，只做简单介绍。如果想完整了解Transformer 和 Attention的技术细节，可自行搜索阅读。

Transformer是记忆力更更好的网络

我们可以回忆一下不管RNN 或是LSTM ，都是对于当下时刻t的记忆 state_t 与输入 input_t的信息进行合成处理。
而这个「记忆」是沿着时间线逐步积累到当下时刻的。

Transformer 又如何呢？请看下图：

回想一下，RNN 和LSTM 的工作方式就像是在大脑里处理由左到右逐字读到的文字。
Transformer呢？ 它像是一个「一目十行」的超人。它无视