2018_SE_Squeeze-and-Excitation Networks

标题Abstract:

• 卷积神经网络的核心构建模块是卷积算子，它使网络能够通过融合每层局部感受野中的空间和通道信息来构建信息特征。大量先前的研究已经调查了这种关系的空间成分，试图通过提高整个特征层次的空间编码质量来增强CNN的代表性。在这项工作中，我们将重点放在通道关系上，并提出了一种新的架构单元，我们称之为”挤压和激励“SE模块，它通过显式的建模通道间的互相依赖性，自适应的重新校准通道特征响应。我们表明，这些块可以堆叠在一起，形成SENet体系结构，在不同的数据集上非常有效的推广。我们进一步证明，SE块在稍微增加计算成本的前提下，显著提高了现有最先进CNN的性能。压缩和激励网络形成了我们ILSVRC 2017分类提交的基础，它赢得了第一名，并将前5错误率减少到 2.251%，比2016年的获奖作品提高了25%。代码是开源的。

Conclusion

• 在本文中，我们提出了SE块，这是一种构架单元，旨在通过使网络能够执行动态通道特征重新校准来提高网络的代表性。大量实验表明了SENet的有效性，它在多个数据集和任务钟实现了最先进的性能。此外，SE块还揭示了以前的体系结构无法充分建模的通道特征依赖性。我们希望这一见解可能会对其他需要强鉴别功能的任务有用。最后，SE块产生的特征重要性值可用于其他任务，例如用于模型压错的网络剪枝。