10.11_attention

10.11 注意力机制

在10.9节（编码器—解码器（seq2seq））里，解码器在各个时间步依赖相同的背景变量来获取输入序列信息。当编码器为循环神经网络时，背景变量来自它最终时间步的隐藏状态。

现在，让我们再次思考那一节提到的翻译例子：输入为英语序列“They”“are”“watching”“.”，输出为法语序列“Ils”“regardent”“.”。不难想到，解码器在生成输出序列中的每一个词时可能只需利用输入序列某一部分的信息。例如，在输出序列的时间步1，解码器可以主要依赖“They”“are”的信息来生成“Ils”，在时间步2则主要使用来自“watching”的编码信息生成“regardent”，最后在时间步3则直接映射句号“.”。这看上去就像是在解码器的每一时间步对输入序列中不同时间步的表征或编码信息分配不同的注意力一样。这也是注意力机制的由来 [1]。

仍然以循环神经网络为例，注意力机制通过对编码器所有时间步的隐藏状态做加权平均来得到背景变量。解码器在每一时间步调整这些权重，即注意力权重，从而能够在不同时间步分别关注输入序列中的不同部分并编码进相应时间步的背景变量。本节我们将讨论注意力机制是怎么工作的。

在10.9节（编码器—解码器（seq2seq））里我们区分了输入序列或编码器的索引$t$与输出序列或解码器的索引$t^{\prime }$。该节中，解码器在时间步$t^{\prime }$的隐藏状态${\mathbf{s}}_{t^{\prime }}=g({\mathbf{y}}_{t^{\prime }-1},\mathbf{c},{\mathbf{s}}_{t^{\prime }-1})$，其中${\mathbf{y}}_{t^{\prime }-1}$是上一时间步$t^{\prime }-1$的输出$y_{t^{\prime }-1}$的表征，且任一时间步$t^{\prime }$使用相同的背景变量$\mathbf{c}$。但在注意力机制中，解码器的每一时间步将使用可变的背景变量。记${\mathbf{c}}_{t^{\prime }}$是解码器在时间步$t^{\prime }$的背景变量，那么解码器在该时间步的隐藏状态可以改写为

$${\mathbf{s}}_{t^{\prime }}=g({\mathbf{y}}_{t^{\prime }-1},{\mathbf{c}}_{t^{\prime }},{\mathbf{s}}_{t^{\prime }-1}).$$

这里的关键是如何计算背景变量${\mathbf{c}}_{t^{\prime }}$和如何利用它来更新隐藏状态${\mathbf{s}}_{t^{\prime }}$。下面将分别描述这两个关键点。

10.11.1 计算背景变量

我们先描述第一个关键点，即计算背景变量。图10.12描绘了注意力机制如何为解码器在时间步2计算背景变量。首先，函数$a$根据解码器在时间步1的隐藏状态和编码器在各个时间步的隐藏状态计算softmax运算的输入。softmax运算输出概率分布并对编码器各个时间步的隐藏状态做加权平均，从而得到背景变量。

图10.12 编码器—解码器上的注意力机制

具体来说，令编码器在时间步$t$的隐藏状态为${\mathbf{h}}_t$，且总时间步数为$T$。那么解码器在时间步$t^{\prime }$的背景变量为所有编码器隐藏状态的加权平均：

$${\mathbf{c}}_{t^{\prime }}=\sum _{t=1}^T{\alpha }_{t^{\prime }t}{\mathbf{h}}_t,$$

其中给定$t^{\prime }$时，权重${\alpha }_{t^{\prime }t}$在$t=1,\dots ,T$的值是一个概率分布。为了得到概率分布，我们可以使用softmax运算:

$${\alpha }_{t^{\prime }t}=\frac{\exp (e_{t^{\prime }t})}{{\sum }_{k=1}^T\exp (e_{t^{\prime }k})},t=1,\dots ,T.$$

现在，我们需要定义如何计算上式中softmax运算的输入$e_{t^{\prime }t}$。由于$e_{t^{\prime }t}$同时取决于解码器的时间步$t^{\prime }$和编码器的时间步$t$，我们不妨以解码器在时间步$t^{\prime }-1$的隐藏状态${\mathbf{s}}_{t^{\prime }-1}$与编码器在时间步$t$的隐藏状态${\mathbf{h}}_t$为输入，并通过函数$a$计算$e_{t^{\prime }t}$：

$$e_{t^{\prime }t}=a({\mathbf{s}}_{t^{\prime }-1},{\mathbf{h}}_t).$$

这里函数$a$有多种选择，如果两个输入向量长度相同，一个简单的选择是计算它们的内积$a(\mathbf{s},\mathbf{h})={\mathbf{s}}^{\top }\mathbf{h}$。而最早提出注意力机制的论文则将输入连结后通过含单隐藏层的多层感知机变换 [1]：

$$a(\mathbf{s},\mathbf{h})={\mathbf{v}}^{\top }\tanh ({\mathbf{W}}_s\mathbf{s}+{\mathbf{W}}_h\mathbf{h}),$$

其中$\mathbf{v}$、${\mathbf{W}}_s$、${\mathbf{W}}_h$都是可以学习的模型参数。

10.11.1.1 矢量化计算

我们还可以对注意力机制采用更高效的矢量化计算。广义上，注意力机制的输入包括查询项以及一一对应的键项和值项，其中值项是需要加权平均的一组项。在加权平均中，值项的权重来自查询项以及与该值项对应的键项的计算。

在上面的例子中，查询项为解码器的隐藏状态，键项和值项均为编码器的隐藏状态。
让我们考虑一个常见的简单情形，即编码器和解码器的隐藏单元个数均为$h$，且函数$a(\mathbf{s},\mathbf{h})={\mathbf{s}}^{\top }\mathbf{h}$。假设我们希望根据解码器单个隐藏状态${\mathbf{s}}_{t^{\prime }-1}\in {\mathbb{R}}^h$和编码器所有隐藏状态${\mathbf{h}}_t\in {\mathbb{R}}^h,t=1,\dots ,T$来计算背景向量${\mathbf{c}}_{t^{\prime }}\in {\mathbb{R}}^h$。
我们可以将查询项矩阵$\mathbf{Q}\in {\mathbb{R}}^{1\times h}$设为${\mathbf{s}}_{t^{\prime }-1}^{\top }$，并令键项矩阵$\mathbf{K}\in {\mathbb{R}}^{T\times h}$和值项矩阵$\mathbf{V}\in {\mathbb{R}}^{T\times h}$相同且第$t$行均为${\mathbf{h}}_t^{\top }$。此时，我们只需要通过矢量化计算

$$\text{softmax}(\mathbf{Q}{\mathbf{K}}^{\top })\mathbf{V}$$

即可算出转置后的背景向量${\mathbf{c}}_{t^{\prime }}^{\top }$。当查询项矩阵$\mathbf{Q}$的行数为$n$时，上式将得到$n$行的输出矩阵。输出矩阵与查询项矩阵在相同行上一一对应。

10.11.2 更新隐藏状态

现在我们描述第二个关键点，即更新隐藏状态。以门控循环单元为例，在解码器中我们可以对6.7节（门控循环单元（GRU））中门控循环单元的设计稍作修改，从而变换上一时间步$t^{\prime }-1$的输出${\mathbf{y}}_{t^{\prime }-1}$、隐藏状态${\mathbf{s}}_{t^{\prime }-1}$和当前时间步$t^{\prime }$的含注意力机制的背景变量${\mathbf{c}}_{t^{\prime }}$ [1]。解码器在时间步$t^{\prime }$的隐藏状态为

$${\mathbf{s}}_{t^{\prime }}={\mathbf{z}}_{t^{\prime }}\odot {\mathbf{s}}_{t^{\prime }-1}+(1-{\mathbf{z}}_{t^{\prime }})\odot {\tilde{\mathbf{s}}}_{t^{\prime }},$$

其中的重置门、更新门和候选隐藏状态分别为

$$\begin{array}{rl}{\mathbf{r}}_{t^{\prime }}& =\sigma ({\mathbf{W}}_{yr}{\mathbf{y}}_{t^{\prime }-1}+{\mathbf{W}}_{sr}{\mathbf{s}}_{t^{\prime }-1}+{\mathbf{W}}_{cr}{\mathbf{c}}_{t^{\prime }}+{\mathbf{b}}_r),\\ {\mathbf{z}}_{t^{\prime }}& =\sigma ({\mathbf{W}}_{yz}{\mathbf{y}}_{t^{\prime }-1}+{\mathbf{W}}_{sz}{\mathbf{s}}_{t^{\prime }-1}+{\mathbf{W}}_{cz}{\mathbf{c}}_{t^{\prime }}+{\mathbf{b}}_z),\\ {\tilde{\mathbf{s}}}_{t^{\prime }}& =\text{tanh}({\mathbf{W}}_{ys}{\mathbf{y}}_{t^{\prime }-1}+{\mathbf{W}}_{ss}({\mathbf{s}}_{t^{\prime }-1}\odot {\mathbf{r}}_{t^{\prime }})+{\mathbf{W}}_{cs}{\mathbf{c}}_{t^{\prime }}+{\mathbf{b}}_s),\end{array}$$

其中含下标的$\mathbf{W}$和$\mathbf{b}$分别为门控循环单元的权重参数和偏差参数。

10.11.3 发展

本质上，注意力机制能够为表征中较有价值的部分分配较多的计算资源。这个有趣的想法自提出后得到了快速发展，特别是启发了依靠注意力机制来编码输入序列并解码出输出序列的变换器（Transformer）模型的设计 [2]。变换器抛弃了卷积神经网络和循环神经网络的架构。它在计算效率上比基于循环神经网络的编码器—解码器模型通常更具明显优势。含注意力机制的变换器的编码结构在后来的BERT预训练模型中得以应用并令后者大放异彩：微调后的模型在多达11项自然语言处理任务中取得了当时最先进的结果 [3]。不久后，同样是基于变换器设计的GPT-2模型于新收集的语料数据集预训练后，在7个未参与训练的语言模型数据集上均取得了当时最先进的结果 [4]。除了自然语言处理领域，注意力机制还被广泛用于图像分类、自动图像描述、唇语解读以及语音识别。

小结

• 可以在解码器的每个时间步使用不同的背景变量，并对输入序列中不同时间步编码的信息分配不同的注意力。
• 广义上，注意力机制的输入包括查询项以及一一对应的键项和值项。
• 注意力机制可以采用更为高效的矢量化计算。

练习

• 基于本节的模型设计，为什么不可以将解码器在不同时间步的隐藏状态 ${\mathbf{s}}_{t^{\prime }-1}^{\top }\in {\mathbb{R}}^{1\times h},t^{\prime }\in 1,\dots ,T^{\prime }$ 连结成查询项矩阵 $\mathbf{Q}\in {\mathbb{R}}^{T^{\prime }\times h}$，从而同时计算不同时间步的含注意力机制的背景变量 ${\mathbf{c}}_{t^{\prime }}^{\top },t^{\prime }\in 1,\dots ,T^{\prime }$？

注意力机制的本质：注意力机制的核心思想是在解码的每一步，模型都能够关注到输入序列中的不同部分，从而生成更准确的输出。这要求模型在每一步都根据当前的解码状态（即隐藏状态）和输入序列的状态来计算一个特定的背景变量（即上下文向量）。

时间步的独立性：在seq2seq模型中，解码器的每一步都是独立的，即每一步都基于前一步的输出和当前的背景变量来生成输出。将不同时间步的隐藏状态连结成查询项矩阵意味着在所有时间步上使用相同的查询，这违反了注意力机制的基本原则，因为它没有考虑到解码过程中每个时间步的独特性。

计算复杂性和效率：即使技术上可以实现将隐藏状态连结成查询项矩阵并同时计算所有时间步的背景变量，但这种做法会显著增加计算复杂性和内存需求。在每一步中，模型都需要计算一个softmax分布，并对编码器隐藏状态进行加权平均，这是一个相对耗时的操作。如果同时计算所有时间步的背景变量，将会导致计算效率大大降低。

模型性能：更重要的是，将隐藏状态连结成查询项矩阵并同时计算背景变量可能会降低模型的性能。因为每个时间步的输出都依赖于特定的背景变量，而这个背景变量是根据当前解码状态和输入序列状态计算得出的。如果所有时间步都使用相同的背景变量，那么模型可能无法准确地捕捉到输入序列和输出序列之间的对齐关系，从而导致生成不准确的输出。

• 不修改“门控循环单元（GRU）”一节中的gru函数，应如何用它实现本节介绍的解码器？

1.初始化：
首先，你需要初始化解码器的隐藏状态（例如，设置为零向量或随机向量）。

2.编码过程：
首先，你需要一个编码器（可以是另一个GRU或者其他类型的RNN）来处理输入序列，并得到每个时间步的隐藏状态。

3.注意力计算：
对于解码器的每一个时间步，计算注意力权重。这通常涉及一个评分函数，它根据解码器当前时间步的隐藏状态和编码器所有时间步的隐藏状态来计算得 分。
将这些得分通过softmax函数转化为注意力权重。
使用注意力权重对编码器隐藏状态进行加权平均，得到上下文向量（背景变量）。

4.解码过程：
在解码器的每个时间步，将上一时间步的输出（或开始符号，对于第一个时间步），当前时间步的上下文向量，以及前一个时间步的隐藏状态作为输入，送入GRU函数。
GRU函数将返回新的隐藏状态，这个状态现在已经融入了上下文信息。
使用新的隐藏状态（可能还结合上下文向量）来预测当前时间步的输出。

5.迭代：重复步骤4，直到达到输出序列的末尾或满足某个停止条件。

6.输出处理：将解码器在每个时间步的输出转换为最终序列（例如，通过词汇表进行映射）。

• 除了自然语言处理，注意力机制还可以应用在哪些地方？

计算机视觉：

目标检测：通过关注图像中特定区域来提高目标检测和识别的准确性和鲁棒性。注意力机制可以帮助模型聚焦于图像中的关键部分，减少背景噪声的干扰。
图像分割：在图像分割任务中，注意力机制可以帮助模型区分图像中的不同区域或对象，提高分割的精度。
图像分类：结合注意力机制，模型可以更加关注图像中的关键特征，从而提高图像分类的准确率。

语音识别：

声学模型建模：注意力机制可以用于声学模型的建模过程中，通过动态地调整对不同时间步的关注程度，提高声学模型对语音信号的建模能力。
语言模型建模：注意力机制还可以用于语言模型的建模过程中，通过动态地调整对不同位置的关注程度，提高语言模型对语言序列的建模能力。
上下文建模：在语音识别中，注意力机制可以建模上下文信息，提高语音识别的准确率。
数据预测：

在数据预测任务中，注意力机制可以帮助模型关注历史数据中的关键信息，从而提高预测的准确性。

推荐系统：

在处理长文本（如用户评论）时，注意力机制可以有效地提取文本中的重点，帮助推荐系统理解用户的兴趣点，从而提供个性化的推荐。

图像处理：

注意力机制可以帮助模型在图像处理任务中关注图像中的关键区域，如图像修复、图像增强等。

参考文献

[1] Bahdanau, D., Cho, K., & Bengio, Y. (2014). Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473.

[2] Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … & Polosukhin, I. (2017). Attention is all you need. In Advances in Neural Information Processing Systems (pp. 5998-6008).

[3] Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.

[4] Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., Sutskever I. (2019). Language Models are Unsupervised Multitask Learners. OpenAI.