深度学习的Attention模型

前言

    前面看到谷歌发表的运用在机器翻译上的论文《Attention is all you need》，很是让人惊讶，这是一种全新的模型，与之前的经典的seq2seq模型改动较大，它完全摒弃了RNN或CNN神经网络，大大简化了模型的复杂度，而且效果还相当好。当然Attention模型可以单独使用，但这篇文章我们来看看Attention的机制及怎么与经典的seq2seq结合。

seq2seq

    前面我们有详细的文章介绍了seq2seq的机制以及如何用TensorFlow来实现seq2seq。可到《深度学习的seq2seq模型》、《TensorFlow实现seq2seq》阅读。

    seq2seq模型结构基本都大同小异，下面用一种常见结构进行说明，我们可以看到decoder将不同时刻的输入最后用一个状态C来表示,encoder部分的不同时刻的输出则为，且有，可以看到，不同时刻的输入被编码成C，而不同时刻的输出与上一时刻的输出、当前时刻的隐含状态、编码状态C都相关，而当前时刻隐含状态由于上一时刻的隐含状态、上个时刻输出、编码C相关。

seq2seq缺点

    seq2seq模型是处理序列问题的大杀器，由它实现的encoder-decoder模型让其在很多场景都发挥着强大的作用，得到了很不错的效果。但它也有自己的局限性，被认为最大限制了seq2seq能力的就在于编码和解码之间的唯一联系就是一个固定长度的语义向量C。

    我们可以看到上面，encoder的不同时刻的输入都被编码成状态C，这个便是语义向量。从这个角度去看，它将整个序列的信息压缩到一个固定长度的向量中去了。对于短序列来说，这种做法可能问题不大，但如果是较长较复杂的队列，则该语义向量可能无法完全表示整个序列的信息。而且先输入的序列的信息会被后输入的序列信息稀释掉。输入序列越长，这个现象就越严重。如果我们得到一个有损的语义编码，那对后面的解码也很可能会产生影响。

    另外seq2seq模型一般会使用RNN，而RNN因为与上一时刻状态相关，所以不能并行运算，效率低。但这是所有使用RNN的局限性，除非不使用它。

Attention模型

    为了解决语义损失和信息稀释的问题，提出了Attention模型，Attention即注意力，它是模拟了人类的视觉注意机制而来，比如当观察某个画面时，注意力聚焦到其中某一部分，其余部分则变得模糊。

    按照图，咱们往下详细看Attention模型怎么与seq2seq结合。对于decoder，输出为

这里的C已经与前面说到的seq2seq的语义向量C不同了，已经不再是将所有输入进行编码，下面会说到C怎么计算。再看隐含状态，

C向量计算公式为，

我们可以将其中的a看成是各个时刻的输出的不同时刻的输入对应的权重，其实就可以使用softmax来计算，它的计算公式为，

其中，

    通过上面几个公式就基本描述了seq2seq与Attention的结合，其中每个输出多了注意力向量参与，注意力的权重由上一时刻隐含状态与encoder的各个输入的隐含状态共同决定。

    在seq2seq模型上加上Attention模型，克服了语义损失和信息稀释的问题，但是它也引入了额外的成本，对于m个输入，n个输出的结构中，Attention参数也达到了m*n的数量级。

以下是广告和相关阅读

========广告时间========

鄙人的新书《Tomcat内核设计剖析》已经在京东销售了，有需要的朋友可以到 item.jd.com/12185360.ht… 进行预定。感谢各位朋友。

为什么写《Tomcat内核设计剖析》

=========================

相关阅读：
《深度学习的seq2seq模型》
《TensorFlow实现seq2seq》