网络资料整理个人学习,感谢各位大神!(若侵则删)
问题18: 注意力机制补充
注意力机制分类
点积注意力、加性注意力和缩放点积注意力
参考:https://www.cnblogs.com/liuyajun2022/p/17489782.html
点积注意力(Dot Product Attention):
点积注意力是一种注意力机制,用于计算输入向量之间的相似度。它通过计算两个向量的点积来度量它们的相似程度,然后对结果进行归一化处理得到注意力权重。点积注意力的计算公式如下:
注意力权重 = softmax(输入向量1 · 输入向量2)
其中,softmax函数用于将注意力权重进行归一化,使其总和为1。
加性注意力(Additive Attention):
加性注意力是一种注意力机制,通过将两个输入向量连接并应用线性变换来计算注意力权重。加性注意力可以学习输入向量之间的复杂关系,相对于点积注意力更加灵活。加性注意力的计算公式如下:
注意力权重 = softmax(线性变换(连接(输入向量1, 输入向量2)))
其中,线性变换是一个全连接层或多层感知机(MLP),用于将连接的向量映射到注意力权重。