论文阅读笔记之Attention Is All You Need

• 前言
• 阅读笔记

前言

  这是戊戌年的第一篇博客，先给各位读者拜个晚年。这篇博客是2017 NLP 十大paper阅读笔记系列的第一篇，当初我立下一个flag—要在2018读完这十篇paper，所以我会依次阅读这些paper，写出我的一些观点。出于各种原因，有些part我就不detail地去写，网上也有一些类似的阅读笔记可以学习。

阅读笔记

  这一篇paper是google发在NIPS上的Attention Is All You Need，这个名字还是很吸引人的。实际上就是在Encoder-Decoder的model上不去使用RNN或者CNN（Facebook关于ConvS2S的工作将在后续的阅读笔记中介绍），而是使用Transformer model，如下图所示。

  Encoder和Decoder各含有六层，图中的Nx只是其中的一层。Encoder部分有一个Multi-Head Attention和前馈网络组成，每部分的输出都经过一个LayerNorm，并且采用残差连接（