Squeeze-and-Excitation Networks

写在后面：applying a global image feature vecto rto generate caption may lead to sub-optimal results due to the irrelevant regions（和这篇文章有没有关系……………………………….）

摘要

卷积神经网络是建立在卷积操作之上的，卷积操作提取信息特征通过混合空间和通道信息一直 在局部感受野中。为了加强网络的感受能力，最近的一些方法显示了加强空间编码的好处。在这篇文章中， 我们的注意力放在通道之间的关系并提出了一个新颖的结构单元，称作为SE Blcok,SE block采用自适应的校准通道层次的特征代表通过明确的在各个通道相关性之间建模。我们是通过堆积这些模块来说明想法的，实验表明，我们的东西很赞（摘要常规套路）

简介

卷积网络已经被证明是非常有效的方法去解决一些视觉任务，对每一层卷积，一系列卷积核学会表达局部空间联系顺着输入通道，换句话说，卷积核被期待有益的结合空间和通道的信息在局部感受野里，。通过叠加一系列非线性和下采样的卷积层，CNN能够捕捉到具有全局接受域的层次模式作为强大的图像描述。最近的研究表明，可以通过明确嵌入学习机制来提高网络表现，这可以帮助捕获空间相关性，而不需要额外的监督。在本文中，我们研究 了结构设计的一个不同的方面——通道关系，我们称之为“挤压-激发”(SE)blcok。我们的目标是通过显式建模通道之间的卷积特征的相互依赖性来提高网络的代表代表能力。为此，我们提出了一种机制这使得网络可以执行特征重新校准，通过它可以学会使用全局信息来选择性地强调信息特征并抑制无用的特征。
网络设计：

transformation$F_{tr}$代表着一组卷积
The features U are first passed through a squeeze operation, which aggregates the feature maps across spatial dimensions H × W to produce a channel descriptor.
特征U首先通过一个squeeze操作，这个聚集了空间维度是H*W的特征图的特征去产生一个通道描述.
这个描述嵌入了对通道层次的特征表述的全局分布，使得来自网络的全局接受域的信息可以被网络的较低层利用。然后是激励操作，在激励操作中，通过基于通道依赖性的自选门机制为每个通道学习到的特定于采样的激活，控制每个通道的激励。

最近相关工作

.最近的一些工作主要集中在减少模型和计算复杂度的目标上，反映了一种假设，即通道关系可以被表示为与局部感受野实例不可知功能的组合。与此相反，我们声称，为单元提供一种机制，使用全局信息显式地建模通道之间的动态非线性依赖关系，可以简化学习过程，并显著增强网络的表示能力。

Attention and gating mechanisms.

Attention已经被实验证明比较有用，在这些应用程序中，它经常被用于表示更高级别抽象的一个或多个层之上，以适应不同的模式。Wang介绍了一种使用沙漏模块的强大的 trunk-and-mask注意机制，这种高容量单元被插入到中间阶段之间的深层剩余网络中。相比之下,我们的提出的SE模块是一种轻量级的门控机制，专门以计算效率的方式对通道关系进行建模，旨在提高基本模块在整个网络中的代表性能力。

Squeeze-and-Excitation Blocks

每个学习的过滤器都以一个局部接受域一起工作，因此Transorfmation U的每个单元都无法利用该区域之外的上下文信息。为解决这问题，我们提出压榨全局空间信息进入一个通道descriptor,这是通过实验全局平均池化产生通道层次的统计。

Excitation: Adaptive Recalibration

为了完全利用squeeze操作所产生的综合信息，我们用Excitation去全面捕获通道层次的依赖。