注意力机制和Seq2seq模型笔记

最新推荐文章于 2024-04-23 09:36:17 发布

wjsjjss

最新推荐文章于 2024-04-23 09:36:17 发布

阅读量674

点赞数 1

分类专栏：深度学习

本文链接：https://blog.csdn.net/wjsjjss/article/details/104373006

版权

深度学习专栏收录该内容

23 篇文章 0 订阅

订阅专栏

注意力机制

在“编码器—解码器（seq2seq）”⾥，解码器在各个时间步依赖相同的背景变量（context vector）来获取输⼊序列信息。当编码器为循环神经⽹络时，背景变量来⾃它最终时间步的隐藏状态。将源序列输入信息以循环单位状态编码，然后将其传递给解码器以生成目标序列。然而这种结构存在着问题，尤其是RNN机制实际中存在长程梯度消失的问题，对于较长的句子，我们很难寄希望于将输入的序列转化为定长的向量而保存所有的有效信息，所以随着所需翻译句子的长度的增加，这种结构的效果会显著下降。

与此同时，解码的目标词语可能只与原输入的部分词语有关，而并不是与所有的输入有关。例如，当把“Hello world”翻译成“Bonjour le monde”时，“Hello”映射成“Bonjour”，“world”映射成“monde”。在seq2seq模型中，解码器只能隐式地从编码器的最终状态中选择相应的信息。然而，注意力机制可以将这种选择过程显式地建模。

Image Name

注意力机制框架

Attention 是一种通用的带权池化方法，输入由两部分构成：询问（query）和键值对（key-value pairs）。 $k_{i}\in \mathbb{R}^{d_{k}}}$ , $v_{i}\in \mathbb{R}^{d_{v}}}$ . Query $q\in \mathbb{R}^{d_{q}}}$ , attention layer得到输出与value的维度一致 $o\in \mathbb{R}^{d_{v}}}$ . 对于一个query来说，attention layer 会与每一个key计算注意力分数并进行权重的归一化，输出的向量则是value的加权求和，而每个key计算的权重与value一一对应。

为了计算输出，我们首先假设有一个函数α 用于计算query和key的相似性，然后可以计算所有的 attention scores $a_{1}$ ,…, $a_{n}$ by

$a_{i}=\alpha (q,k_{i})$

我们使用 softmax函数获得注意力权重：

$b_{1},...,b_{n}=softmax (a_{1},...,a_{n})$

最终的输出就是value的加权求和：

$o=\sum_{i=1}^{n}b_{i}v_{i}$

Image Name

不同的attetion layer的区别在于score函数的选择，在本节的其余部分，我们将讨论两个常用的注意层 Dot-product Attention 和 Multilayer Perceptron Attention；随后我们将实现一个引入attention的seq2seq模型并在英法翻译语料上进行训练与测试。

Softmax屏蔽

在深入研究实现之前，我们首先介绍softmax操作符的一个屏蔽操作。

超出2维矩阵的乘法

X 和 Y 是维度分别为(b,n,m) 和(b,m,k)的张量，进行 b 次二维矩阵乘法后得到 Z, 维度为 (b,n,k)。

Z[i,:,:]=dot(X[i,:,:],Y[i,:,:]) for i=1,...,n.

点积注意力

The dot product 假设query和keys有相同的维度, 即 $\forall i,q,k_{i}\in \mathbb{R}_{d}$ . 通过计算query和key转置的乘积来计算attention score,通常还会除去 $\sqrt{d}$ 减少计算出来的score对维度𝑑的依赖性，如下

$\alpha (q,k)=\left \langle q,k \right \rangle/\sqrt{d}$

假设 $Q\in \mathbb{R}^{m\times d}$ 有 m 个query， $K\in \mathbb{R}^{n\times d}$ 有 n 个keys. 我们可以通过矩阵运算的方式计算所有 mn 个score：

$\alpha (Q,K)=\left \langle Q,K^{T} \right \rangle/\sqrt{d}$

测试

现在我们创建了两个批，每个批有一个query和10个key-values对。我们通过valid_length指定，对于第一批，我们只关注前2个键-值对，而对于第二批，我们将检查前6个键-值对。因此，尽管这两个批处理具有相同的查询和键值对，但我们获得的输出是不同的。

多层感知机注意力

在多层感知器中，我们首先将 query and keys 投影到 $\mathbb{R}^{h}$ .为了更具体，我们将可以学习的参数做如下映射 $W_{k}\in \mathbb{R}^{h\times d_{k}}$ , $W_{q}\in \mathbb{R}^{h\times d_{q}}$ , and $v\in \mathbb{R}^{h}$ . 将score函数定义

$\alpha (k,q)=v^{T}tanh(W_{k}k+W_{q}q)$

然后将key 和 value 在特征的维度上合并（concatenate），然后送至 a single hidden layer perceptron 这层中 hidden layer 为 ℎ and 输出的size为 1 .隐层激活函数为tanh，无偏置.

测试

尽管MLPAttention包含一个额外的MLP模型，但如果给定相同的输入和相同的键，我们将获得与DotProductAttention相同的输出

总结

注意力层显式地选择相关的信息。
注意层的内存由键-值对组成，因此它的输出接近于键类似于查询的值。

引入注意力机制的Seq2seq模型

本节中将注意机制添加到sequence to sequence 模型中，以显式地使用权重聚合states。下图展示encoding 和decoding的模型结构，在时间步为t的时候。此刻attention layer保存着encodering看到的所有信息——即encoding的每一步输出。在decoding阶段，解码器的t时刻的隐藏状态被当作query，encoder的每个时间步的hidden states作为key和value进行attention聚合. Attetion model的输出当作成上下文信息context vector，并与解码器输入Dt拼接起来一起送到解码器：

Image Name

下图展示了seq2seq机制的所以层的关系，下面展示了encoder和decoder的layer结构

Image Name

解码器

由于带有注意机制的seq2seq的编码器与之前章节中的Seq2SeqEncoder相同，所以在此处我们只关注解码器。我们添加了一个MLP注意层(MLPAttention)，它的隐藏大小与解码器中的LSTM层相同。然后我们通过从编码器传递三个参数来初始化解码器的状态:

the encoder outputs of all timesteps：encoder输出的各个状态，被用于attetion layer的memory部分，有相同的key和values

the hidden state of the encoder’s final timestep：编码器最后一个时间步的隐藏状态，被用于初始化decoder 的hidden state

the encoder valid length: 编码器的有效长度，借此，注意层不会考虑编码器输出中的填充标记（Paddings）

在解码的每个时间步，我们使用解码器的最后一个RNN层的输出作为注意层的query。然后，将注意力模型的输出与输入嵌入向量连接起来，输入到RNN层。虽然RNN层隐藏状态也包含来自解码器的历史信息，但是attention model的输出显式地选择了enc_valid_len以内的编码器输出，这样attention机制就会尽可能排除其他不相关的信息。

现在我们可以用注意力模型来测试seq2seq。为了与第9.7节中的模型保持一致，我们对vocab_size、embed_size、num_hiddens和num_layers使用相同的超参数。结果，我们得到了相同的解码器输出形状，但是状态结构改变了。

训练

通过应用相同的训练超参数和相同的训练损失来尝试一个简单的模型。从结果中我们可以看出，由于训练数据集中的序列相对较短，额外的注意层并没有带来显著的改进。由于编码器和解码器的注意层的计算开销，该模型比没有注意的seq2seq模型慢得多。

wjsjjss

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
注意力机制和Seq2seq模型笔记

注意力机制在“编码器—解码器（seq2seq）”⼀节⾥，解码器在各个时间步依赖相同的背景变量（context vector）来获取输⼊序列信息。当编码器为循环神经⽹络时，背景变量来⾃它最终时间步的隐藏状态。将源序列输入信息以循环单位状态编码，然后将其传递给解码器以生成目标序列。然而这种结构存在着问题，尤其是RNN机制实际中存在长程梯度消失的问题，对于较长的句子，我们很难寄希望于将输入的序列转化...
复制链接

扫一扫