NLP——机器翻译中的Attention

框架

简介

Encoder-Decoder模型虽然非常经典，但是局限性也非常大。最大的局限性就在于编码和解码之间的唯一联 系就是一个固定长度的语义向量C。也就是说，编码器要将整个序列的信息压缩进一个固定长度的向量中。但是这样做有两个弊端，一是语义向量无法完全表示整个序列的信息，二是先输入的内容携带的信息会被后输入 的信息稀释掉。输入序列越长，这个现象就越严重。这就使得在解码的时候一开始就没有获得输入序列足够的信息，那么解码时准确率就要打一定折扣。为了解决上述问题，在Seq2Seq出现一年以后Attention模型被提出。该模型在产生输出的时候，会产生一个 注意力范围来表示接下来输出的时候要重点关注输入序列的哪些部分，然后根据关注的区域来产生下一个输出，如此反复。Attention和人的一些行为特征有一定相似之处，人在看一段话的时候，通常只会重点注意具有信息量的词，而非全部词，即人会赋予每个词的注意力权重不同。
相比于之前的Encoder-Decoder模型，Attention模型最大的区别就在于它不再要求编码器将所有输入信息都 编码进一个固定长度的向量之中。相反，此时编码器需要将输入编码成一个向量的序列，而在解码的时候，每 一步都会选择性的从向量序列中挑选一个子集进行进一步处理。这样，在产生每一个输出的时候，都能够做到 充分利用输入序列携带的信息。每一个C会自动去选取与当前所要输出的y最合适的上下文信息。具体来说，aij 衡量编码中第j阶段的hj和解码时第i阶段的相关性，最终Decoder中第i阶段的输入的上下文信息Ci就来自于所有 hj对aij的加权和。

相关性计算

对于输入序列每个输入得到的输出，计算注意力权重并加权：
• 不仅仅使用Encoder最后一步的输出，而且使用Encoder每一步的输出
• Decoder每次进行生成时，先根据Decoder当前状态和Encoder每一步输出之间的关系，计算对应的注意力权重
• 根据权重将Encoder每一步的输出进行加权求和，得到当前这一步所使用的上下文context
• Decoder根据context以及上一步的输出，更新得到下一步的状态，进而得到下一步的输出