一、介绍
ECANet(CVPR 2020)作为一种轻量级的注意力机制,其实也是通道注意力机制的一种实现形式。其论文和开源代码为:
论文地址:https://arxiv.org/abs/1910.03151
代码:https://github.com/BangguWu/ECANet
ECA模块,去除了原来SE模块中的全连接层,直接在全局平均池化之后的特征上通过一个1D卷积进行学习。
具体的讲:通过共享相同的学习参数,通过内核大小为k的1维卷积来实现通道之间的信息交互:(一维卷积和1 × 1 卷积是不同的,一维指的是1 × k 的卷积)
ECA-Net可以插入到其他CNN网络中来增强其性能,比如:插入到ResNet、MobileNetV2中。本文主要将ECA模块加入到Mobilenetv2的残差堆叠块中。
文中同样附上SENet的嵌入代码(已注释),如有需要,可进行比较;因项目需要转换caffe模型(具体torch如何转,请看之前的博文),经测试SENet虽然转换成功,但测试时所需的caffe库不支持,所以换成ECA-Net,经转换测试,可正常出结果,且效果提升大约五个点左右。
ReLU6替换为L
注意力机制——ECANet及Mobilenetv2模型应用
于 2023-03-24 00:15:04 首次发布
本文介绍了ECANet,一种轻量级的通道注意力机制,用于增强CNN网络性能。通过对比SENet,文章展示了如何在MobileNetV2中应用ECA模块,并讨论了转换至Caffe模型的过程与效果提升。
摘要由CSDN通过智能技术生成