attention机制详解

$attention$机制一般来说会用在深度学习中，在图像处理和自然语言处理方面都有所应用，在自然语言处理中一般会用在机器翻译中，如下图所示，假设我们要翻译“机器学习”四个字：

这是一个简易的$RNN$模型，$h1-h4$ 是 $t1-t4$ 输出的向量，这四个时刻的输入分别是“机”、“器”、“学”、“习” 四个字，这个时候我们有一个初始的输入向量 $z0$，这个 $z0$ 可以表示成搜索前面神经网络中的关键字，可以理解是 $keyword$。有了初始的$keyword$ $input$，我们有一个 $match$ 的模块，输入是 $h1$ 和 $z0$，输出为 ${\alpha }_0^1$，公式表示为： $f(h,z)=\alpha$，示意图如下所示：

这里的 $match$ 模块可以理解成一个相似度的计算模块，所以这个 ${\alpha }_0^1$ 表示 $z0$ 和 $h1$ 的相关度，可以用公式 $\alpha =h^T\cdot W\cdot z$ 表示，中间的 $W$ 表示一个权重矩阵。然后我们将 $z0$ 分别和 $h2$、$h3$ 和 $h4$ 进行上述的操作，再加上一层 $softmax$ 操作，可以得到如下图所示：

得到上图的结果之后我们用公式 $c_0=\sum {\hat{\alpha }}_0^i{h}_i$ 来进行一个求和得到 $c_0$，过程如图所示：

这个时候，我们用 $c0$ 和 $z0$ 作为 $decoder$ 的输入来翻译我们的 “机器学习”，这个时候假设我们的 ${\hat{\alpha }}_0^1\text{ = }0.5$，${\hat{\alpha }}_0^2\text{ = }0.5$，${\hat{\alpha }}_0^3\text{ = }0$，${\hat{\alpha }}_0^4\text{ = }0$，那么这个时候的输入 $c0$ 的 $attention$ 就集中在前两个字 “机器” 的翻译上，后两个字 “学习” 的 $attention$ 就弱化，先不去翻译 “学习” 这两个字。那么示意图如下所示：

然后我们将输出的 $z1$ 再分别和 $h1$、$h2$、$h3$、$h4$ 作为输入，再输入到 $match$ 模块中，分别输出 ${\alpha }_1^1$、${\alpha }_1^2$、${\alpha }_1^3$ 和 ${\alpha }_1^4$，具体示意图如下所示：

运用上述的思想，我们将 $z1$ 分别和 $h1$、$h2$、$h3$、$h4$ 作为输入进入 $match$ 模块，分别输出 ${\alpha }_1^1$、${\alpha }_1^2$、${\alpha }_1^3$ 和 ${\alpha }_1^4$，然后经过 $softmax$ 之后生成 ${\hat{\alpha }}_1^1$、${\hat{\alpha }}_1^2$、${\hat{\alpha }}_1^3$ 和 ${\hat{\alpha }}_1^4$。分别表示这一次需要输出的 $attention$ ，假设这次输出分别是 0、0、0.5和0.5，那么我们就需要把翻译的注意力集中在 “学习” 二字上面。在 $decoder$ 中，我们结合上一轮的输出 $machine$ 加上本轮的状态量 $z1$ 以及本轮的 $attention$，输出下一轮的状态 $z2$ 和 翻译结果 $learning$，在 $sequence2sequence$ 模型中，直到碰到结束标识，那么整个翻译过程就完成，这就是在深度学习中的 $attention$ 机制。同样的，不仅仅在自然语言处理中，在图像处理中同样会用到 $attention$ 机制，所以 $attention$ 机制在深度学习中的应用也是很广泛的。
希望这篇文章能够帮助大家理解深度学习中的 $attention$ 机制，谢谢。