Can relearning local representation help small networks for human pose estimation?精简版

论文提出的原因：由于关键点是小目标，人体姿态变化大，关键点的局部信息点，特别是局部结构之间以及局部结构与全局结构之间的相互依赖性，对于合理推断人的结构是重要的。现有的残差计算、密接等没有充分考虑这一特殊性。将那些现成的注意力模块直接嵌入到骨干网络中也不能彻底克服CNN的缺点，因为它们仍然仅使用来自单个卷积层的特征，并且不考虑人体的整体结构与局部结构的空间关系。

论文的重点方法：

是开发一个通用模块，可以灵活地插入HPE骨干网。主要思想是：通过同步观察不同范围的空间结构来聚合不同卷积层的不同接受域的特征，并建立注意力。重新学习高级特征中的局部信息可以帮助网络从新的角度重新研究特征的上下文信息。

论文的亮点：

IA模块的设计、用于处理输入失配问题的MFU策略以及不同骨干网使用IA的网络结构。

1. IA模块的设计

改进后的网络主干嵌入综合注意机制（IA）。在感受野的变化中可以看出，随着网络的加深，感受野变大，网络在深层卷积中更加关注图像的全局信息。在嵌入IA之后，深度卷积能够重新学习局部信息。

IA是一种多层特征同步学习的注意机制，它将下层的局部信息与深层的远程信息整合在一起进行学习，可以更好地引导深层骨干网络重新学习局部表示和高层特征，以关注小目标区域。集成注意模块的结构如图5所示。整体上，IA可分为特征集成和同步注意生成两部分。

1.1特征集成

第一步是对输入特征X,Y（大小为c*h*w）进行全局平均池化(GAP)，转换后的输出为X'，Y'（大小为c*1*1）。从较低层学习到的特征X包含较小接受野的局部细节证据，而从较深层学习到的特征Y包含较大接受野的远程结构信息。GAP通常用于压缩信道特征的空间信息。在我们的IA中，也使用GAP来降维，以减轻注意力模块的重量。平均结果保留了前一卷积层提取的空间和语义信息。

第二步是连接X'和Y'得到Q（大小为2c*1*1），使得特性被聚合。

1.2. 同步注意力生成

受非局域和SE的启发，为了更好地利用整合信道的特性，提出了一种同步注意力生成的转换。首先，对于嵌入式计算模块，其结构需要尽可能简单。此外，它还应该能够学习通道之间的非线性关系。为此，我们首先将Q输入到1 *1卷积块C1()中，其中Q表示[X,Y]级联操作，如式2所示:

其中δ表示relu激活函数，[X,Y]表示级联操作，f表示输出（大小为c*c）

其中对f进行全连接操作，σ为sigmoid激活函数，输出s为长度与输入通道数一致的权重标量集。设计细节如图5所示。最后，标量s使用逐元素乘法与深层高级特征Y相乘，得到包含更多信息的输出特征Z。转换后的输出映射Z = [Z1,Z2，…]，Zc]与X, Y相同，如式4所示:

我们的整合注意力不在仅仅关注通道之间的相关性来重新学习权重的分布，而是可以整合同步地研究不同视场下的特征图。如上所述，这样的编码过程有助于模型更好地理解感兴趣的区域，并增强其学习特征的能力。

2. 用于处理输入失配问题的MFU策略

MFU首先处理了CNN在不同层生成不同尺寸特征时的尺度不匹配问题。有两种情况:向上抽样，即从低分辨率到高分辨率，以及从高分辨率到低分辨率的下采样。具体策略如下:上抽样采用简单的最近邻抽样;对于下采样，使用3 × 3大小的卷积块以利用一定的步长和填充来减小图像比例。同时，MFU使通道数与深层次特征保持一致。

4.不同骨干网使用IA的网络结构

嵌入方法不一致，给出了两种骨干网的嵌入方法。一种方法是将两个相邻层(阶段)的输出特征聚合为IA的输入。另一种方法是收集网络的更深层(阶段)特征作为输入。

Resnet和hourglass存在不同的分辨率，在网络中需要添加MFU模块进行统一尺度，进而利用IA模块进行聚合信息与特征提取。

但是HRNet分辨率相同，无需添加MFU模型，直接利用IA模块即可。

5.实验结果

添加IA模块后对应结果，参数量未增加而精确度得到提升。