ECA-Net： Efficient Channel Attention for Deep Convolutional Neural Networks 学习笔记

摘要

背景

通道注意力已经被证明在卷积神经网络中有着提高性能的巨大潜力

挑战

绝大多数的方法都致力于开发更复杂的注意力机制来达到更好的性能，这会无法避免的增加模型的复杂度。

方法

为了克服性能和复杂度的权衡悖论，本文提出了高效通道注意力（ECA）模块，只设计少量参数但能带来明显的增益，提出了一种无需降低维度的局部跨通道交互策略，可以很好的通过一维卷积实现，并开发了一种自适应选择卷积核大小的一维卷积法，从而确定局部跨通道相互作用的覆盖范围。

贡献

模块在ResNet50上在Top-1精度方面提升超过2%,在图像分类、对象检测和实例分割方面，，模块效率更高，性能优于同类模块

引言

背景

卷积神经网络在计算机视觉领域广泛引用，在图像分类、目标检测和语义分割领域取得了长足的进步，最近将通道注意力纳入卷积块引起了很多人的兴趣，显示了巨大的性能改进潜力，代表方法是SENet,学习每个卷积块的通道注意力，为各种深度CNN架构带来了明显的性能提升。

挑战

一些研究通过捕获更复杂的通道依赖关系或者结合额外的空间注意力来改进SE模块，尽管这些方法确实达到了更高的准确度，但它们带来了更高的模型复杂度并承受着更重的计算负担。

研究现状

SE模块首先对每个通道独立使用全局平均池化，然后通过两个非线性的全连接层，再使用Sigmoid函数生成通道权重。两个FC层旨在捕获非线性跨通道交互，降维以控制模型复杂度，但研究表明降维会给通道注意力的预测带来副作用，并且捕获所有通道的依赖关系是低效且不必要的。

提出新方法

因此本位提出了针对CNN模块的高效通道注意力（ECA）模块，该模块避免降维并捕捉跨通道交互，在通过全局平均池化后，ECA模块通过考虑每个通道和它的k个邻居来捕获局部通道交互，其中核大小k代表局部跨通道交互的覆盖率，即有多少邻居会参与一个通道的注意力预测

贡献

刨析了SE块，并证明避免降维和适当的跨通道交互对于学习有效和高效的通道注意力很重要。
基于上述分析，尝试通过高效通道注意力来开发一种极轻量级的深度CNN通道注意力模块，增加了复杂度但带来了明显的改进。
带有ECA模块的深度CNN引入的附加参数很少，计算量可以忽略不计，同时带来了显著的性能提升

相关工作

注意力机制已经被证明是增强深度CNN的潜在手段，SENet首次提出了有效学习通道注意力的机制，后续开发大致可分为特征聚合的增强、通道和空间注意力的结合.
ECA模块旨在捕获局部跨通道相互作用，这与通道局部卷积和通道卷积有相似之处，但不同的是本方法研究了具有1D自适应核大小的卷积来替换通道注意力模块的FC层，本方法通过更低的模型复杂度实现了更好的性能。

预先准备

对于输入特征$\mathbf{X}\in {\mathbb{R}}^{w\times h\times c}$