attention机制 And 细粒度分类小结

机器视觉的attention 机制

 

机器视觉的Attention概述

https://zhuanlan.zhihu.com/p/52925608

 

视觉中的Attention 学习的也是一个权重分布，将权重分布施加到原来的特征上，使用权重的方式有下面几种方式。

1. 加权保存所有的分量做加权。
2. 可以在分布中以某种采样策略选取部分分量做加权(hard attention)
3. 加权可以作用在原图上
4. 加权可以作用在空间尺度上，给不同空间区域加权
5. 加权可以作用在Channel尺度上，给不同通道特征加权
6. 加权可以作用在不同时刻历史特征上，结合循环结构添加权重，例如前面两章节介绍的机器翻译，或者后期会关注的视频相关的工作。

下面是一些相关文献：

   Soft attention

      CVPR2017，Wang F等人提出了《Residual Attention Network for Image