attention模型

以机器翻译为例说明：
普通的RNN机器翻译模型:

次结构弱点在于当target句子太长时，前面encoder学习到的embedding vector(红边框)可能会被后面的decoder遗忘。因此改进版本如下:

这样，每次在输入target的word的时候，除了可以看到上一个word,还可以看到最开始encoder学习到的embedding vector.

但是次结构的问题有：

1. 只用一个emebdding vector代替一整个sequence, 可能最开始读入encoder的word最后算embedding vector的时候被遗忘。即：如果输入的sequence很复杂，就不能使用一个vector来描述输入sequence.

2. 每次输入decoder的东西都是一样的,得到的结果也不会太好。

在机器翻译的时候，输出的一个target的word很大程度上来源于输入sequence中的某一个或者几个word，而不是真个句子。如下:

这就是attention模型的来历。即计算输出中的某个word与输入的所有word之间的相似度，最后将相似度加权求和。计算过程如下:

${\alpha }_0^1$有初始状态$z^0$和$h^1$计算得到。

然后用$z^0$和每个输入计算matching score:

然后计算$z_0$与输入的attention score

得到输出$z^1$

接下来计算下个matching score $c^1$:

然后一直重复下去。

图片来源于李宏毅课程。