SPANet：用于深度卷积神经网络的空间金字塔注意

摘要

        注意机制在计算机视觉中取得了巨大的成功。 然而，在某些实现中普遍使用的全局平均池将三维特征图聚合为一维注意力图，导致注意力学习中结构信息的显著丢失。 在本文中，我们提出了一个新的空间金字塔注意网络(SPANET)，它利用结构信息和通道关系来更好地表示特征。 SPANet通过横向增加空间金字塔注意力(SPA)块来增强基础网络。 通过对自注意机制设计的重新思考，我们进一步提出了三种适用于我们Spanet的注意路径连接的拓扑结构。 它们可以灵活地应用于各种CNN体系结构。 SPANet在概念上很简单，但实际上很强大。 它利用结构正则化和结构信息来获得更好的学习能力。 我们在四个基准数据集上综合评估了SPANet在不同视觉任务下的性能。 实验结果表明，SPANet算法在不增加计算开销的情况下显著提高了识别精度。 在基于ResNet50的ImageNet2012基准测试中，使用SPANet实现了1.6%的Top-1分类准确率的提高，并且SPANet优于SENet和其他注意力方法。 SPANet还显著地提高了目标检测性能，增加的计算开销可以忽略不计。 将SPANet应用到基于ResNet50骨干网的RetinaNet中时，基线模型的性能提高了2.3mAP，增强模型的性能分别比SENet和GCNet提高了1.1mAP和1.7mAP。

1. SPANet

        会议版本将其展成1维并将其进行合并，然后送入到类似SE的权重生成网络，这样做会破坏金字塔特征的空间结构，因此期刊版本提出首先对特征图进行插值，然后将插值后的金字塔特征按权重（可学习）进行相加（可以更好地保留空间结构信息）并送入到类似SE的权重生成网络中以对通道进行调制，用公式表示为：

S=w⊤[ρfine (xl),ρcoarse (xl),ρglobal (xl)]T=U(σ(τ(τ(S)))),