【机器学习】注意力机制

1 注意力机制定义

1.1 定义

深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，核心目标也是从众多信息中选择出对当前任务目标更关键的信息注意力机制就是一种加权

---

1.2 为什么注意力机制可以发挥重要作用

卷积是如何提取特征的？ 卷积操作实际上是向量的内积，而两个向量的内积代表他们的相关程度
卷积是是一个线性的过程，为了增加非线性特征，加入了池化层和激活层。这个过程是一系列矩阵乘法和元素对应非线性乘法，特征元素用过加法相互作用。
注意力机制加入了对应元素相乘，可以加大特征的非线性，而且简化了其他运算

---

2 注意力分类

2.1 按照可微分性不同

硬注意力：和图像的裁剪类似
软注意力：

高斯注意力机制：通过利用参数化的一维高斯滤波器来创建图像大小的注意力图

[1] Kosiorek A, Bewley A, Posner I. Hierarchical attentive recurrent tracking[C]//Advances in Neural Information Processing Systems. 2017: 3053-3061.
代码地址：https://github.com/akosiorek/hart

2.2 关注的域不同

空间域 ：内容的注意力机制
通道域 ：通道之间的注意力机制
时间域：一种硬注意力机制，加入时间信息
混合域 内容和通道的注意力融合

2.3 空间域的注意力机制

代码地址：https://github.com/kevinzakka/spatial-transformer-network

2.4 通道域的注意力机制

代码地址：https://github.com/hujie-frank/SENet

2.5 混合域的注意力机制

代码地址：https://github.com/tengshaofeng/ResidualAttentionNetwork-pytorch

总结

空间注意力机制就是通过，一定的方法训练出一个变换空间，用来感受我们的目标位置。并且添加到后续的网络中增加训练效果。
通道注意力也就是通过学习，增强有用特征的占用比、

其他注意力模型