注意力机制

一、原理

（1）心理学角度：人类根据随意线索和不随意线索选择注意点，如下图所示，人看一眼注意到红色的杯子（不随意），但在思考只有，想要读书所以关注到书（随意）。

 （2）卷积、全连接、池化都只考虑不随意线索。注意力机制则是显示的考虑随意线索。

随意线索被称为查询（query），每个输入是一个值（value）和随意线索（key）的对，通过注意力汇聚来有偏向选择某些输入。

（3）非参注意力机制

 一个新点x与全局任意点的距离，选择与x近的一些点做相关运算。

K选用高斯，

 （4）深度学习引入参数，可学习

 （5）总结

 二、注意力分数

 

 主要设计a

方法一：等价于将key和query合并起来后放入到隐藏层大小为h输入大小为1的MLP

 方法二：

 

三、遮蔽softmax操作

softmax 运算用于输出一个概率分布作为注意力权重。在某些情况下，并非所有的值都应该被纳入到注意力汇聚中，某些文本序列被填充了没有意义的特殊词元。为了仅将有意义的词元作为值去获取注意力汇聚，可以指定一个有效序列长度（即词元的个数），以便在计算 softmax 时过滤掉超出指定范围的位置。masked_softmax 函数中实现这样的 遮蔽 softmax 操作（masked softmax operation），其中任何超出有效长度的位置都被遮蔽并置为0。

def masked_softmax(X, valid_lens):
    """通过在最后一个轴上遮蔽元素来执行 softmax 操作"""
    # `X`: 3D张量, `valid_lens`: 1D或2D 张量
    if valid_lens is None:
        return nn.functional.softmax(X, dim=-1)
    else:
        shape = X.shape
        if valid_lens.dim() == 1:
            valid_lens = torch.repeat_interleave(valid_lens, shape[1])
        else:
            valid_lens = valid_lens.reshape(-1)
        # 在最后的轴上，被遮蔽的元素使用一个非常大的负值替换，从而其 softmax (指数)输出为 0
        X = d2l.sequence_mask(X.reshape(-1, shape[-1]), valid_lens,
                              value=-1e6)
        return nn.functional.softmax(X.reshape(shape), dim=-1)