SENet（Squeeze-and-Excitation Networks）

什么是计算机视觉注意力     

        注意力机制就是对输入权重分配的关注，最开始使用到注意力机制是在编码器-解码器(encoder-decoder)中, 注意力机制通过对编码器所有时间步的隐藏状态做加权平均来得到下一层的输入变量。

       计算机视觉（computer vision）中的注意力机制（attention）的基本思想就是想让系统学会注意力——能够忽略无关信息而关注重点信息。

       注：我们只讨论CV里面的注意力机制，不谈NLP的注意力机制。随着注意力机制在CNN网络中的广泛应用，并且日趋成熟，我将用几篇博客陆续更新注意力机制的主要网络的分析，分享给有需要的同学，也是自己的学习记录。觉得还不错的同学可以给个赞并关注博主，不胜感激^_^。

注意力机制：硬注意力和软注意力。

硬注意力：是具体到某一数值，例如：分类中的概率最高的一项。硬注意力是不连续的，不可微，所以很难进行训练。

神经网络中一般注意力指的是软注意力机制：是指某一区间范围内的连续数值。那么，重点是软注意力是可微的，则我们可以利用神经网络的正向传播进行数值传递，并利用方向传播进行梯度更新，学习到较好的注意力权重。

就注意力关注的域来分：

空间域(spatial domain)

通道域(channel domain)

层域(layer domain)

混合域(mixed domain)

时间域(time domain)

SENET

        本文介绍的是CVPR2017上的文章，并且赢得了ImageNet2017分类任务的冠军，SENET模块简单，方便扩展到其他网络模型中，论文地址：SENET。

SENET主要思路

       CNN网络中，图像或者说Feature Map的特征主要分为空间特征（Spatial）和通道（Channel）特征。对于空间特征来说，在CNN网络正向传播的过程中，通过卷积运算从输入特征一步步的卷积操作得到新的Feature Map么本质上来说，卷积操作是局部特征，那么随着网络正向传播的深入，到深层网络的特征野会远大于浅层网络特征图的感受野，说明深层网络有着更多的空间维度信息。对于通道特征来说，是通过卷积操作后得到的空间特征，并在通道维度上进行融合而得到。

       SENET就是对通道维度的