注意力评分函数
1. 注意力评分权重
在上篇博客注意力机制中,使用高斯核来对查询和键之间的关系建模,将Nadaraya-Watson-Gaussian中的高斯核指数部分视为注意力评分函数(attention scoring function), 简称评分函数(scoring function),, 然后把这个函数的输出结果输入到softmax函数中进行运算,得到权重。
通过上述步骤,我们将得到与键对应的值的概率分布(即注意力权重),最后注意力汇聚的输出就是基于这些注意力权重的值的加权和。
下图说明了 如何将注意力汇聚的输出计算成为值的加权和, 其中 𝑎 表示注意力评分函数。 由于注意力权重是概率分布, 因此加权和其本质上是加权平均值。
其中查询q和键ki 的注意力权重(标量)是通过注意力评分函数a将两个向量映射成标量,再经过softmax运算得到的:
从上面公式看出选择不同的注意力评分函数a aa会导致不同的注意力汇聚操作,下面将介绍两个流行的评分函数:加性注意力评分函数 和 缩放点积注意力评分函数。
2. 掩码softmax操作
上面提到的softmax操作用于输出一个概率分布作为注意力权重。在某些情况下,并非所有的值都应该被纳入到注意力汇聚中,例如为了在数据集中高效加载处理小批量数据集(每一个样本序列大小形状相同), 某些文本序列被填充了没有意义的特殊词元。 为了仅将有意义的词元作为值来获取注意力汇聚, 需要指定一个有效序列长度(即词元的个数), 以便在计算softmax时过滤掉超出指定序列长度的位置。
3. 加性注意力
(Wq的shape为h x q,乘以q的shape为q x 1,得到长为h,同理Wk乘以k后长为h,相加后经过tanh,wv的转置shape为(1,h)与h相乘得到一标量)将查询和键连结起来后输入到一个多层感知机(MLP)中,感知机包含一个隐藏层,其隐藏单元数是一个超参数h ,通过使用tanh 作为激活函数,并且禁用偏置项。
class AdditiveAttention(nn.Module):
"""加性注意力"""
def __init__(self,key_size,query_size,num_hiddens,dropout):
super(AdditiveAttention,self).__init__()
self.W_q = nn.Linear(query_size,num_hiddens,bias=False)#得到长为h
self.W_k = nn.Linear(key_size,num_hiddens,bias=False)#得到长为h
self.W_v = nn.Linear(num_hiddens,1,bias=False)#w_v转置乘以tanh
self.dropout = nn.Dropout(dropout)
def forward(self,queries,keys,values,valid_lens):
queries = self.W_q(queries)
# shape=(batch_size,num_queries,num_hiddens)
keys = self.W_k(keys)
#shape=(batch_size,num_keys,num_hiddens)
# 在维度扩展后,
# queries的形状:(batch_size,查询的个数,1,num_hiddens)
# key的形状:(batch_size,1,“键-值”对的个数,num_hiddens)
# 使用广播方式进行求和
features = queries.unsqueeze(2)+keys.unsqueeze(1)
features = torch.tanh(features)
# self.w_v仅有一个输出,因此从形状中移除最后那个维度。
# scores的形状:(batch_size,查询的个数,“键-值”对的个数,1=num_hiddens) to (batch_size,查询的个数,“键-值”对的个数)
scores = self.W_v(features)
scores = scores.squeeze(-1)
self.attention_weights = masked_softmax(scores,valid_lens)
# values的形状:(batch_size,“键-值”对的个数,值的维度)
#批量矩阵乘法
return torch.bmm(self.dropout(self.attention_weights),values)
AdditiveAttention的使用, 其中查询、键和值的形状为(批量大小,步数或词元序列长度,特征大小), 实际输出为 (2,1,20) 、 (2,10,2) 和 (2,10,4) 。 注意力汇聚输出的形状为(批量大小,查询的步数,值的维度)
queries,keys = torch.normal(0,1,size=(2,1,20)),torch.ones(size=(2,10,2))
# (2,1,20)=(batch_size,query个数,单个query的长度) (2,10,2)=(batch_size,key的个数,key的长度)
values = torch.arange(40,dtype=torch.float32).reshape(1,10,4).repeat(2,1,1)#10个val,val长为4
valid_lens = torch.tensor([2,6])#第一个样本看前两个key-val pair,第二个样本看前6个
additiveAttention = AdditiveAttention(query_size=20,key_size=2,num_hiddens=8,dropout=0.1)
additiveAttention.eval() #eval状态下使dropout无效
additiveAttention(queries,keys,values,valid_lens)
#输出如下所示:
tensor([[[ 2.0000, 3.0000, 4.0000, 5.0000]],
[[10.0000, 11.0000, 12.0000, 13.0000]]], grad_fn=<BmmBackward0>)
4.缩放点积注意力
使用点积可以得到计算效率更高的评分函数,但是点积操作要求查询和键具有相同的长度d。假设查询和键的所有元素都是独立的随机变量,并且都满足零均值和单位方差,那么两个向量的点积的均值为0,方差为d。为确保无论向量长度如何,点积的方差在不考虑向量长度的情况下仍然是1,需要将点积除以sqrt(d)(根号d)(除以根号d也就是缩放的含义),因此缩放点积注意力(scaled dot-product attention)评分函数为:
class DotProductAttention(nn.Module):
"""缩放点积注意力"""
def __init__(self,dropout):
super(DotProductAttention,self).__init__()
self.dropout = nn.Dropout(dropout)
# queries的形状:(batch_size,查询的个数,d)
# keys的形状:(batch_size,“键-值”对的个数,d)
# values的形状:(batch_size,“键-值”对的个数,值的维度)
# valid_lens的形状:(batch_size,)或者(batch_size,查询的个数)
def forward(self,queries,keys,values,valid_lens):
d = queries.shape[-1]
# 设置transpose_b=True为了交换keys的最后两个维度
#批量矩阵乘法
scores = torch.bmm(queries,keys.transpose(1,2))/math.sqrt(d)
self.attention_weights = masked_softmax(scores,valid_lens)
return torch.bmm(self.dropout(self.attention_weights),values)
使用DotProductAttention类, 使用与先前加性注意力例子中相同的键、值和有效长度。 对于点积操作,令查询的特征维度与键的特征维度大小相同。
queries = torch.normal(0,1,size=(2,1,2))
dotProductAttention = DotProductAttention(dropout=0.1)
dotProductAttention.eval() #eval状态下使dropout无效
dotProductAttention(queries,keys,values,valid_lens)
输出结果如下:
tensor([[[ 2.0000, 3.0000, 4.0000, 5.0000]],
[[10.0000, 11.0000, 12.0000, 13.0000]]])
与加性注意力演示相同,由于键包含的是相同的元素,因此获得了均匀的注意力权重。
d2l.torch.show_heatmaps(dotProductAttention.attention_weights.reshape(1,1,2,10),xlabel='keys',ylabel='querys')
将注意力汇聚的输出计算可以作为值的加权平均,选择不同的注意力评分函数会带来不同的注意力汇聚操作。
当查询和键是不同长度的矢量时,可以使用可加性注意力评分函数。当它们的长度相同时,使用缩放的“点-积”注意力评分函数的计算效率更高。(缩放是指:query和keys点积后需要除以keys最后一维维度的平方)
本文经转载修改,原文链接:https://blog.csdn.net/flyingluohaipeng/article/details/125747994