【无标题】

系列文章目录

提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加
例如：第一章 Python 机器学习入门之pandas的使用

---

提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档

---

注意力机制汇总

注意力机制是深度学习中的重要模块，现对注意力机制的使用场景和使用方法做一个简单的汇总，而不对原理对探究

一、注意力机制的功能

自己当前接触到的功能有两个
1、当仅在某一层的特征输出，也即一组向量之间进行注意力的计算时，这时注意力机制可以提高模型的感知野
2、如果对于两种不同层输出的特征进行注意力的计算，那么注意力机制还有特征融合的功能。

二、使用步骤

注意力机制的具体计算涉及到三组向量，分别是query、key、value，这三组向量可以是同一组也可以不是，如果为同一组向量则称为自注意力机制，如transformer中的自注意力机制

一些说明：
1、q、k、v都是可以先通过一个全连接层再进行计算，这样就可学习了
2、还需要归一化，上述中没有给出
3、query、key一般相同，不同通过全连接层调整维度
4、评分函数的形式有很多，如内积、相似度等等，目的是衡量两个向量之间的相似度

# 总结
`提示：这里对文章进行总结：`
待补充