EPSANet：金字塔拆分注意力模块

最新推荐文章于 2024-05-31 11:47:33 发布

AIWalker-Happy

最新推荐文章于 2024-05-31 11:47:33 发布

阅读量1.1w

点赞数 17

分类专栏：网络架构深度学习

本文链接：https://blog.csdn.net/huohu728/article/details/117596107

版权

深度学习同时被 2 个专栏收录

30 篇文章 6 订阅

订阅专栏

网络架构

13 篇文章 1 订阅

订阅专栏

本文提出了EPSANet，它基于通道注意力机制并引入多尺度思想，构建了轻量且高效的EPSA模块。该模块可作为即插即用组件提升现有CNN网络性能。实验结果显示，EPSANet在图像分类、目标检测和实例分割任务上均表现出优越性能，优于SENet、FcaNet等现有模型。

摘要由CSDN通过智能技术生成

编辑：Happy
首发：AIWalker

标题&作者团队

本文是深圳大学&西安交大在注意力机制方面的探索，在通道注意力的基础上，引入多尺度思想，构建了本文所提的即插即用EPSA模块。相比其他注意力机制(比如SENet、FcaNet等)，所提EPSANet在图像分类、目标检测以及实例分割任务上均取得了显著性能提升。

Abstract

已有研究表明：将注意力模块嵌入都现有CNN中可以带来显著的性能提升。比如，知名的SENet、BAM、CBAM、ECANet、GCNet、FcaNet等注意力机制均带来了客观的性能提升。

本文提出了一种新颖的轻量且高效的注意力模块PSA，采用所提PSA替换ResNet网络Bottleneck中的 $3\times 3$ 卷积得到了新的模块EPSA，所得EPSA可以作为一种“即插即用”模块用于现有骨干网络并显著提升性能。由此构建的骨干网络称之为EPSANet，它可以提供更强的多尺度特征表达并服务于下游任务，比如图像分类、目标检测、实例分割等。

无需任何技巧，所提EPSANet取得了优于其他注意力模型的性能。相比SENet50，所提方案在图像分类任务上取得了1.93%的精度提升，在目标检测任务上取得2.7boxAP指标提升，在实例分割任务上取得了1.7mAP指标提升。

Method

Revisiting Channel Attention

上图给出了通道注意力的结构示意图，它包含GAP+两个全连接层，可以描述如下:
$g_c = \frac{1}{H \times W} \sum_{i=1}^H \sum_{j=1}^W x(i,j) \\ w_c = \sigma(W_1\delta(W_0(g_c)))$

PSA Module

本文旨在构建一种更高效且有效的通道注意力机制，提出了一种新的金字塔拆分注意力模块(Pyramid Split Attention, PSA)，见上图。处理流程描述如下：

先，我们通过所提SPC(Split and Concat)模块构建多尺度特征；
然后，通过SE方式得到通道级注意力向量以提取不同尺度特征；
其次，采用Softmax对上述所得通道注意力向量进行重校正；
最后，将校正后注意力向量作用于多尺度特征图并将结果作为输出。

最后所得输出具有丰富的多尺度信息。那么，SPC是个什么鬼呢？看下图。

从前面我们了解到：PSA的关键在于多尺度特征提取，即SPC模块。假设输入为X，我们先将其拆分为S部分 $[X_0, X_1, \cdots, X_{S-1}]$ ，然后对不同部分提取不同尺度特征，最后将所提取的多尺度特征通过Concat进行拼接。上述过程可以简单描述如下：
$[X_0, X_1, \cdots, X_{S-1}] = Split(X) \\ F_i = Conv(K_i \times k_i, G_i)(X_i), i=0,1,\cdots, S-1 \\ F = Cat([F_0, F_1,\cdots, F_{S-1}])$
在上述特征基础上，我们对不同部分特征提取注意力权值，公式如下：
$Z_i = SEWeight(F_i), i=0,1,\cdots, S-1$
为更好的实现注意力信息交互并融合跨维度信息，我们将上述所得注意力向量进行拼接，即 $Z=Z_0 \oplus Z_1 \oplus \cdots \oplus Z_{S-1}$ .然后，我们再对所得注意力权值进行归一化，定义如下：
$a t t = S o f t m a x (Z)$
最后，我们即可得到校正后的特征： $\odot att$ 。

Network Design

上图给出了所提EPSA模块架构示意图，并将其与SENet、ResNet等进行了对比。EPSANet的网络结构配置信息见下表。

Experiments

Image Classification on ImageNet

上表给出了ImageNet上的性能对比，从中可以看到：

相比ResNet50，EPSANet50-Small取得了2.29%精度提升，且参数量少11.7%，计算量少12.1%；
相比SENet101，EPSANet50-Small取得了相当精度，二参数量节省54.2%，计算量节省53.9%；
相比ResNet101，SENet101，EPSANet101-Small分别取得了1.6%和0.81%的精度提升，并分别节省12.7%与21.1%的计算资源；
EPSANet50-Large与EPSANet101-Large分别取得了各自领域的最佳性能。