算法问题整理（六）

网络资料整理个人学习，感谢各位大神！（若侵则删）

问题18: 注意力机制补充

注意力机制分类

点积注意力、加性注意力和缩放点积注意力

参考：https://www.cnblogs.com/liuyajun2022/p/17489782.html

点积注意力（Dot Product Attention）：
点积注意力是一种注意力机制，用于计算输入向量之间的相似度。它通过计算两个向量的点积来度量它们的相似程度，然后对结果进行归一化处理得到注意力权重。点积注意力的计算公式如下：

注意力权重 = softmax(输入向量1 · 输入向量2)

其中，softmax函数用于将注意力权重进行归一化，使其总和为1。

加性注意力（Additive Attention）：
加性注意力是一种注意力机制，通过将两个输入向量连接并应用线性变换来计算注意力权重。加性注意力可以学习输入向量之间的复杂关系，相对于点积注意力更加灵活。加性注意力的计算公式如下：

注意力权重 = softmax(线性变换(连接(输入向量1, 输入向量2)))

其中，线性变换是一个全连接层或多层感知机（MLP），用于将连接的向量映射到注意力权重。