EMA：基于跨空间学习的高效多尺度注意力模块

摘要

https://arxiv.org/ftp/arxiv/papers/2305/2305.13563.pdf

在各种计算机视觉任务中，通道或空间注意力机制在产生更清晰的特征表示方面的显著有效性得到了证明。然而，通过通道降维来建模跨通道关系可能会给提取深度视觉表示带来副作用。提出了一种新的高效的多尺度注意力(EMA)模块。以保留每个通道上的信息和降低计算开销为目标，将部分通道重塑为批量维度，并将通道维度分组为多个子特征，使空间语义特征在每个特征组中均匀分布。具体来说，除了对全局信息进行编码以重新校准每个并行分支中的通道权重外，还通过跨维度交互进一步聚合两个并行分支的输出特征，以捕获像素级成对关系。对图像分类和目标检测任务进行了广泛的消融研究和实验，使用流行的基准(如CIFAR-100、ImageNet-1k、MS COCO和VisDrone2019)来评估其性能。代码可以在https://github.com/YOLOonMe/EMAattention-module上找到。

1、 简介

随着深度卷积神经网络(Convolutional Neural Networks, CNNs)的发展，其网络拓扑结构在图像分类和目标检测等领域