一、注意力机制(Attention)
注意力机制中,函数α是任意能刻画相关性的函数,但是需要归一化。
*高斯核:一种非线性核函数,高斯核函数的作用是衡量两个数据点之间的相似性,距离越近则相似性越高,距离越远则相似性越低。当输入数据点距离足够接近时,高斯核函数的值接近于1;当输入数据点之间的距离较远时,高斯核函数的值接近于0。
*注意力分数:表示在一个序列中不同位置的元素对于模型预测的重要程度或权重。这些关联程度可以通过不同的方法计算,常见的方法包括点积注意力、加性注意力等。
注意力权重为注意力分数的归一化。
Self-Attention—只关注输入序列之间的关系
Q请求矩阵、K键矩阵、V值矩阵都是同样的X矩阵,并且可能会对X矩阵做不同的线性变换。
Multi-Head Attention
基于自注意力,使用多种矩阵变换生成不同的Q、K、V,最后综合不同的相关性结论,增强自注意力的效果。