学习笔记|自注意力机制(self-attention)——考虑全局又聚焦重点

1. 自注意力机制概述

有时候我们期望网络能够看到全局,但是又要聚焦到重点信息上。比如在在做自然语言处理时,句子中的一个词往往不是独立的,和它上下文相关,但是和上下文中不同的词的相关性是不同的,所以我们在处理这个词时,在看到它的上下文的同时也要更加聚焦与它相关性更高的词,这就要用到常说的自注意力机制。比如下面这两幅图,通过自注意力机制处理后,计算出了词间的相关性,可以看到第一个图的it与animal的相关性很强,第二个图it与street的相关性很强。那么如何实现自注意力机制呢?
自注意力机制

2. 向量相关性计算

自注意力机制的核心是捕捉向量之间的相关性。比如下面这幅图,输出一个向量 b 1 b^1 b1不只看 a 1 a^1 a1本身,还要看 a 2 a^2 a2 a 3 a^3 a3 a 4 a^4 a4,但是看它们的程度不一样。这就需要分别计算 a 1 a^1 a1 a 2 a^2 a2 a 3 a^3 a3 a 4 a^4 a4之间的相关性 α \alpha α, α \alpha α越大,相关性越高,给予的重视程度就越高。那么如何让网络自动计算出两个向量之间的相关性呢?
捕捉向量间的相关性
计算两个向量之间的相关性的常见方法是求点积(dot-product),如下图所示。具体的做法是左边的向量乘以一个变换矩阵 W q W^q Wq得到向量 q q q,右边的向量乘以一个变换矩阵 W k W^k Wk得到向量 k k k,然后将向量 q q q和向量 k k k点积就可以得到相关性 α \alpha α。由点积的性质可知,两个向量的相似度越高,点积的值就会越大。当然,计算向量相关性的方法不只点积这一种,也有其他方式,但是点积这种是最常见的。
基于点积的向量相关性计算
基于点积计算,我们就可以向量两两之间的关联性了,比如首先分别计算 a 1 a^1 a1 a 2 a^2 a2 a 3 a^3 a3 a 4 a^4 a4之间的相关性。我们首先将 a 1 a^1 a1乘以变换矩阵 W q W^q Wq得到向量 q 1 q^1 q1,这里的 q 1 q^1 q1向量有个专门的名字,叫做 “query” 。然后将 a 1 a^1 a1 a 2 a^2 a2 a 3 a^3 a3 a 4 a^4 a4分别乘以变换矩阵 W k W^k Wk得到向量 k 1 , k 2 , k 3 , k 4 k^1,k^2,k^3,k^4 k1,k2,k3,k4,这里的 k i k^i ki向量也有个专门的名字,叫做 “key”。然后将 q 1 q^1 q1和这四个key分别做点积,就得到四个相关性数值 α 1 , 1 , α 1 , 2 , α 1 , 3 , α 1 , 4 \alpha_{1,1},\alpha_{1,2},\alpha_{1,3},\alpha_{1,4} α1,1,α1,2,α1,3,α1,4。求出这四个相关性的值后,然后通过一个Soft-max层进行归一化,得到 α 1 , 1 ′ , α 1 , 2 ′ , α 1 , 3 ′ , α 1 , 4 ′ \alpha^{'}_{1,1},\alpha^{'}_{1,2},\alpha^{'}_{1,3},\alpha^{'}_{1,4} α1,1,α1,2,α1,3,α1,4,这是最后输出的相关性值,我们将这些值又称为**“注意力分数”**。现在我们得到了 a 1 a^1 a1 a 1 a^1 a1 a 2 a^2 a2 a 3 a^3 a3 a 4 a^4 a4之间的注意力分数,那么如何做到考虑全局又聚焦重点呢?
自注意力机制中的相关性计算

3. 基于注意力分数抽取向量信息

通过上面计算出的注意力分数 α 1 , 1 ′ , α 1 , 2 ′ , α 1 , 3 ′ , α 1 , 4 ′ \alpha^{'}_{1,1},\alpha^{'}_{1,2},\alpha^{'}_{1,3},\alpha^{'}_{1,4} α1,1,α1,2,α1,3,α1,4,我们已经知道 a 1 a^1 a1要给予 a 1 a^1 a1 a 2 a^2 a2 a 3 a^3 a3 a 4 a^4 a4的关注程度了,接下来我们抽取这些向量中重要的信息以输出 b 1 b^1 b1了。具体的做法如下图所示。首先我们再将 a 1 a^1 a1 a 2 a^2 a2 a 3 a^3 a3 a 4 a^4 a4乘以一个新的变换矩阵 W v W^v Wv得到向量 v 1 , v 2 , v 3 , v 4 v^1,v^2,v^3,v^4 v1,v2,v3,v4,这里的 v i v^i vi向量也有个专门的名字,叫做 “value”。然后将向量 v 1 , v 2 , v 3 , v 4 v^1,v^2,v^3,v^4 v1,v2,v3,v4分别乘以对应的注意力分数 α 1 , 1 ′ , α 1 , 2 ′ , α 1 , 3 ′ , α 1 , 4 ′ \alpha^{'}_{1,1},\alpha^{'}_{1,2},\alpha^{'}_{1,3},\alpha^{'}_{1,4} α1,1,α1,2,α1,3,α1,4,并进行求和,输出向量 b 1 b^1 b1。从这里可以看出,所有向量都有参与计算,这样就做到了看全局。但是各向量参与计算的程度不一样, α 1 , i ′ \alpha^{'}_{1,i} α1,i就相当权重值,权重值越大的,对应向量参与计算的程度就越大,最后得到的输出向量 b 1 b^1 b1就和该向量越相似。这样就做到了看全局又聚焦重点。通过上述同样的计算方式,也可以计算得到 b 2 , b 3 , b 4 b^2,b^3,b^4 b2,b3,b4,而且 b 1 , b 2 , b 3 , b 4 b^1,b^2,b^3,b^4 b1,b2,b3,b4是可以并行计算的。以上就是自注意力机制的全部了,但是对自注意力机制的解析并没有结束,下面从矩阵计算的角度来看自注意力机制。
自注意力机制的输出计算

4. 自注意力机制中的矩阵计算

4.1 计算矩阵 K 、 V 、 Q K、V、Q KVQ

前面提到将 a 1 a^1 a1 a 2 a^2 a2 a 3 a^3 a3 a 4 a^4 a4分别乘以变换矩阵 W k W^k Wk得到向量 k 1 , k 2 , k 3 , k 4 k^1,k^2,k^3,k^4 k1,k2,k3,k4。我们将输入向量 a 1 a^1 a1 a 2 a^2 a2 a 3 a^3 a3 a 4 a^4 a4拼在一起,得到一个矩阵用 I I I表示,即, I = [ a 1 a 2 a 3 a 4 ] I=[a^1a^2a^3a^4] I=[a1a2a3a4]将key向量 k 1 k^1 k1 k 2 k^2 k2 k 3 k^3 k3 k 4 k^4 k4拼在一起得到一个矩阵用 K K K表示,即, K = [ k 1 k 2 k 3 k 4 ] K=[k^1k^2k^3k^4] K=[k1k2k3k4]用矩阵相乘表示 K K K矩阵的计算过程即, K = W k I K=W^kI K=WkI同理,query向量拼成的矩阵 Q Q Q等于, Q = W q I Q=W^qI Q=WqIvalue向量拼成的矩阵 V V V等于, V = W v I V=W^vI V=WvI。下图展示了上述计算过程。
Q、K、V矩阵的计算

4.2 计算注意力分数矩阵 A ′ A' A

前面提到将 q 1 q^1 q1和四个key向量 k 1 , k 2 , k 3 , k 4 k^1,k^2,k^3,k^4 k1,k2,k3,k4分别做点积,得到四个相关性数值 α 1 , 1 , α 1 , 2 , α 1 , 3 , α 1 , 4 \alpha_{1,1},\alpha_{1,2},\alpha_{1,3},\alpha_{1,4} α1,1,α1,2,α1,3,α1,4。注意这里的向量都是列向量,所以点积可以写成, α 1 , 1 = q 1 ⋅ k 1 = ( k 1 ) T q 1 \alpha_{1,1}=q^1 \cdot k^1 =(k^1)^Tq^1 α1,1=q1k1=(k1)Tq1 α 1 , 2 = q 1 ⋅ k 2 = ( k 2 ) T q 1 \alpha_{1,2}=q^1 \cdot k^2 =(k^2)^Tq^1 α1,2=q1k2=(k2)Tq1 α 1 , 3 = q 1 ⋅ k 3 = ( k 3 ) T q 1 \alpha_{1,3}=q^1 \cdot k^3 =(k^3)^Tq^1 α1,3=q1k3=(k3)Tq1 α 1 , 4 = q 1 ⋅ k 4 = ( k 4 ) T q 1 \alpha_{1,4}=q^1 \cdot k^4 =(k^4)^Tq^1 α1,4=q1k4=(k4)Tq1
用矩阵计算表示上述计算过程为 [ α 1 , 1 α 1 , 2 α 1 , 3 α 1 , 4 ] = [ ( k 1 ) T ( k 2 ) T ( k 3 ) T ( k 4 ) T ] q 1 = K T q 1 \begin{bmatrix}\alpha_{1,1} \\\alpha_{1,2} \\\alpha_{1,3} \\\alpha_{1,4}\end{bmatrix}=\begin{bmatrix}(k^1)^T\\(k^2)^T\\(k^3)^T\\(k^4)^T\end{bmatrix}q^1=K^Tq^1 α1,1α1,2α1,3α1,4=(k1)T(k2)T(k3)T(k4)Tq1=KTq1 K T K^T KT q 2 、 q 3 、 q 4 q^2、q^3、q^4 q2q3q4相乘可以得到相似的结果,即, A = [ α 1 , 1 α 2 , 1 α 3 , 1 α 4 , 1 α 1 , 2 α 2 , 2 α 3 , 2 α 4 , 2 α 1 , 3 α 2 , 3 α 3 , 3 α 4 , 3 α 1 , 4 α 2 , 4 α 3 , 4 α 4 , 4 ] = [ ( k 1 ) T ( k 2 ) T ( k 3 ) T ( k 4 ) T ] [ q 1 q 2 q 3 q 4 ] = K T Q A=\begin{bmatrix} \alpha_{1,1}&\alpha_{2,1} &\alpha_{3,1} &\alpha_{4,1} \\ \alpha_{1,2}&\alpha_{2,2} &\alpha_{3,2} &\alpha_{4,2} \\ \alpha_{1,3}&\alpha_{2,3} &\alpha_{3,3} &\alpha_{4,3} \\ \alpha_{1,4}&\alpha_{2,4} &\alpha_{3,4} &\alpha_{4,4} \end{bmatrix}=\begin{bmatrix}(k^1)^T\\(k^2)^T\\(k^3)^T\\(k^4)^T\end{bmatrix}[q^1q^2q^3q^4]=K^TQ A=α1,1α1,2α1,3α1,4α2,1α2,2α2,3α2,4α3,1α3,2α3,3α3,4α4,1α4,2α4,3α4,4=(k1)T(k2)T(k3)T(k4)T[q1q2q3q4]=KTQ A A A矩阵通过softmax层归一化后得到 A ′ A' A 。上述计算过程如下图所示。
注意力分数矩阵计算过程

4.3 计算输出矩阵 O O O

前面讲到将向量 v 1 , v 2 , v 3 , v 4 v^1,v^2,v^3,v^4 v1,v2,v3,v4分别乘以对应的注意力分数 α 1 , 1 ′ , α 1 , 2 ′ , α 1 , 3 ′ , α 1 , 4 ′ \alpha^{'}_{1,1},\alpha^{'}_{1,2},\alpha^{'}_{1,3},\alpha^{'}_{1,4} α1,1,α1,2,α1,3,α1,4,并进行求和,输出向量 b 1 b^1 b1,这个过程用矩阵计算可表示为, b 1 = [ v 1 v 2 v 3 v 4 ] [ α 1 , 1 ′ α 1 , 2 ′ α 1 , 3 ′ α 1 , 4 ′ ] = V [ α 1 , 1 ′ α 1 , 2 ′ α 1 , 3 ′ α 1 , 4 ′ ] b^1=[v^1v^2v^3v^4]\begin{bmatrix}\alpha^{'}_{1,1} \\\alpha^{'}_{1,2} \\\alpha^{'}_{1,3} \\\alpha^{'}_{1,4}\end{bmatrix}=V\begin{bmatrix}\alpha^{'}_{1,1} \\\alpha^{'}_{1,2} \\\alpha^{'}_{1,3} \\\alpha^{'}_{1,4}\end{bmatrix} b1=[v1v2v3v4]α1,1α1,2α1,3α1,4=Vα1,1α1,2α1,3α1,4
通过相似的计算,也可以得到 b 2 、 b 3 、 b 4 b^2、b^3、b^4 b2b3b4,即, O = [ b 1 b 2 b 3 b 4 ] = [ v 1 v 2 v 3 v 4 ] [ α 1 , 1 ′ α 2 , 1 ′ α 3 , 1 ′ α 4 , 1 ′ α 1 , 2 ′ α 2 , 2 ′ α 3 , 2 ′ α 4 , 2 ′ α 1 , 3 ′ α 2 , 3 ′ α 3 , 3 ′ α 4 , 3 ′ α 1 , 4 ′ α 2 , 4 ′ α 3 , 4 ′ α 4 , 4 ′ ] = V A ′ O=[b^1b^2b^3b^4]=[v^1v^2v^3v^4]\begin{bmatrix} \alpha^{'}_{1,1}&\alpha^{'}_{2,1} &\alpha^{'}_{3,1} &\alpha^{'}_{4,1} \\ \alpha^{'}_{1,2}&\alpha^{'}_{2,2} &\alpha^{'}_{3,2} &\alpha^{'}_{4,2} \\ \alpha^{'}_{1,3}&\alpha^{'}_{2,3} &\alpha^{'}_{3,3} &\alpha^{'}_{4,3} \\ \alpha^{'}_{1,4}&\alpha^{'}_{2,4} &\alpha^{'}_{3,4} &\alpha^{'}_{4,4} \end{bmatrix}=VA' O=[b1b2b3b4]=[v1v2v3v4]α1,1α1,2α1,3α1,4α2,1α2,2α2,3α2,4α3,1α3,2α3,3α3,4α4,1α4,2α4,3α4,4=VA
输出的计算过程.png

4.4 自注意力矩阵计算总结

综上,自注意力机制的计算过程可总结为,
(1)计算 Q 、 K 、 V Q、K、V QKV矩阵 Q = W q I Q=W^qI Q=WqI K = W k I K=W^kI K=WkI V = W v I V=W^vI V=WvI
(2)计算注意力分数矩阵 A ′ A' A A = K T Q A=K^TQ A=KTQ A ′ = softmax ( A ) A'=\text{softmax}(A) A=softmax(A)
(3)计算输出矩阵 O O O O = V A ′ O=VA' O=VA
自注意力机制计算过程
可以看出,自注意力机制看起来比较复杂,其实计算过程并不复杂,需要学习的参数只有 W q 、 W k 、 W v W^q、W^k、W^v WqWkWv

5. 多头自注意力机制

自注意力机制还有一个进阶版,叫多头自注意力机制(multi-head self-attention)。为什么要多头呢?自注意力机制实质上是用过 q q q向量去找相关的 k k k向量,但是相关性可能有多种,一个 q q q只能找到一种相关的 k k k向量,因此就要引入多个 q q q向量和 k k k向量来捕捉多种相关性。多头自注意力机制很简单,设置多组矩阵 W q , i 、 W k , i 、 W v , i W^{q,i}、W^{k,i}、W^{v,i} Wq,iWk,iWv,i,每一组 W q , i 、 W k , i 、 W v , i W^{q,i}、W^{k,i}、W^{v,i} Wq,iWk,iWv,i只进行内部计算,得到相应的输出 O i O^i Oi,如下图所示。
多头自注意力机制
在得到不同的输出 O i O^i Oi后,再将其拼到一起,形成一个大的矩阵。如果是2头,就将这2个输出直接拼到一起。然后通过一个转换矩阵 W o W^o Wo将拼接的矩阵转换成原输出的长度的向量,即, O = W o [ O 1 O 2 ] O=W^o\begin{bmatrix}O^1\\O^2 \end{bmatrix} O=Wo[O1O2]向量拼接
因此,多头注意力机制要多一个参数矩阵,即 W o W^o Wo

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值