Spanet: Spatial pyramid attention network for enhanced image recognition阅读笔记

ICME 2020
Jingda Guo; Xu Ma; Andrew Sansom; Mara McGuire; Andrew Kalaani; Qi Chen; Sihai Tang; Qing Yang; Song Fu
论文地址

一、简介

GAP类似于结构正则化，能够防止过拟合。但是，将GAP应用于每个特征图会过度强调正则化效果，而忽略了原始特征表示和结构信息。

为此，本文提出了空间金字塔注意力网络（SPANet）来研究注意力模块在图像识别中的作用。它通过横向添加空间金字塔注意力（SPA）块来增强基础网络。与其他利用全局平均池化层的注意力网络不同，我们提出了SPANet同时考虑结构正则化和结构信息。此外，我们还研究了注意路径连接的扩展结构，提出了三种SPANet结构。

二、方法

2.1 概述

多数注意力机制能够捕获通道的依赖性，实现了结构正则化，但是忽略了通道的结构性信息，我们使用金字塔结构来实现结构正则化的同时探索结构性信息。

为了增强CNN的表征能力，我们引入了空间金字塔注意力模块，该模块考虑了空间金字塔结构，整合了不同大小的全局平均池化层，并探索了注意路径的连接模式。

我们提出了一种用于注意块的空间金字塔结构。空间金字塔结构在4×4、2×2和1×1三个尺度上自适应地平均聚集一张输入特征maps。空间金字塔结构提供了3个正则化条件的组合，即4×4平均池化捕捉了更多的特征表示和结构信息，1×1平均池化是具有较强结构规则性的传统缺口，2×2平均池化旨在平衡结构信息和结构正则化之间的关系。然后，我们将三个输出的大小调整为三个一维矢量，并组合在一起以生成一维注意力图。我们的空间金字塔结构既能保持特征表示，又能继承全局平均汇集的优点。

2.2 结构

如上图所示，将Feature Maps通过SPA模块将会得到其注意图。在这里使用4×4、2×2和1×1的全局平均池化层。

2.3 注意力连接路径

我们探索了三种变体结构，如上图所示。

SPANet-A使用与传统自我注意路径连接类似的模式。

SPANet-B中的这种设计是为了确保注意路径独立于原始卷积块路径，使注意路径能够学习更广义的权重。注意，虽然这两条路径彼此独立，但它们并非完全无关，因为注意路径和卷积块路径是联合训练的。

SPANet-C的设计是考虑到了两个分支之间的通道不匹配问题，可能造成无法产生准确的权重。

三、实验