深入浅出Transformer

Transformer

Transformer是NLP的颠覆者，它创造性地用非序列模型来处理序列化的数据，而且还获得了大成功。更重要的是，NLP真的可以“深度”学习了，各种基于transformer的模型层出不穷，如BERT、GPT-2、T-NLG，而且模型参数量呈指数级增长。

Transformer之前，大家的思路都是在改进序列模型，从RNN到LSTM、GRU、Seq2Seq。如果你看过我之前写的深入浅出RNN就会知道，序列模型要靠遍历seq_len来处理data，效率低是显而易见的。不仅如此，深层网络很难收敛，因此，即使像google这样的大公司也只能堆叠10层左右的LSTM。

就在大家都认为“NLP本该如此”时，Transformer横空出世，它通过self-attention实现了对序列化数据的并行处理，不仅提高了计算效率，还打开深度学习的潘多拉魔盒，放出后“大魔王”BERT。从某种程度上说，Transformer的意义比BERT更重大。

Attention

self-attention是attention的进阶版，后者最早出现在机器翻译模型–Seq2Seq中。Figure 2是英文 to 德文的seq2seq模型，encoder和decoder都是RNN（LSTM或GRU），decoder主要是靠encoder提供的hidden state来生成output。

我们知道，RNN的hidden state会随着time step的递进而变化，一旦time step数量较多，也就是seq_len较大时，那么当前的hidden state – $h_t$和早先的hidden state – $h_1$