FaPN: Feature-aligned Pyramid Network for Dense Image Prediction 论文笔记

FaPN: Feature-aligned Pyramid Network for Dense Image Prediction

FaPN ICCV2021

论文链接: https://arxiv.org/abs/2108.07058

一、 Problem Statement

尤其对于dense prediction任务来说，对于目标定位需要丰富的空间细节和对于分类来说需要较好的语义信息。 如何有效地生成不同尺度的特征层成为处理dense prediction任务时需要克服的关键障碍之一。一般有两个方向:

• 使用不同atrous rate的空洞卷积
• 使用top-down feature pyramid

而FPN网络中，对于上upsampling feture和local feature的直接相加，会导致特征图特征映射的上下文不对齐(feature misalignment)，进而导致预测中的错误分类。 对于使用没有可学习参数的upsampling操作(nearst neighbor)，更加会导致misalignment的问题。这样反复堆叠的upsampling和downsampling，会反作用于接下来的网络层。最终导致mis-classification，特别是在目标边界周围。

二、 Direction

提出feature alginment module和feature selection module。前者通过调整卷积核中的每个采样位置和学习的偏移量，学习将上采样特征映射与一组参考特征映射对齐。后者自适应地学习包含较多空间细节的bottom-up的特征地图，从而实现精确定位。然后，将这两个模块集成到top-down的金字塔结构中，并提出了特征对齐金字塔网络(FaPN)。

三、 Method

先来看一下网络结构:

可以看到，对比与FPN结构，多了两个模块 FSM和FAM。

1. Feature Alignment Module(FAM)

由于重复使用downsampling操作，对于其和upsampled特征图会存在spatial misalignment。因此，直接使用element-wise addition或者channal-wise concatenation的融合会损害目标边界的预测。因此，在特征融合之前，把上采样和下采样的特征对齐是很重要的。例如，根据上采样特征图$C$所提供的空间位置信息，调整下采样特征图$P$。下图是具体的结构:

FAM的过程可以看作是两个步骤:

• 从上采样和下采样特征图中，学习偏差offsets(${\Delta }_i$)
  $${\Delta }_i=f_o([{\hat{C}}_{i-1},P_i^u])$$
• 將偏差作用于下采样特征图$P$，进行对齐
  $${\hat{P}}_i^u=f_a(P_i^u,{\Delta }_i)$$

其中，$f_o,f_a$都是由3X3的deformable convolution，activation和同样卷积核大小的标准卷积组成。

deformable convolution可以根据offsets来调整卷积采样的位置，使得特征$P$根据$C$和$P$的空间距离进行对齐。

2. Feature Selection Module(FSM)

作者受到了SE block的灵感，提出了FSM模块。在对特征进行通道缩减之前，需要提取空间细节的特征映射，以实现精确分配，同时抑制冗余特征映射。 一般使用1X1卷积进行通道缩减操作，但是FSM可以准确地提取特征重要的信息并且重新校准它们。

FSM 也可以看成是两个步骤:

• 提取feature importance vector
  $$u=f_m(z)$$
• 选择重要的特征
  $${\hat{C}}_i=f_s(C_i+u\ast C_i)$$

其中$z$是由特征图$C_i$进行global average pooling之后得到的，$f_m(\cdot )$是1X1卷积层和sigmoid activation layer。得到的importance vectore $u$ 对原始的特征$C_i$进行scale之后，再与其本身进行相加。最后$f_s$操作是一个1X1卷积层，用于保持feature maps重要的通道和丢掉不重要的通道(channel reduction)。

与SE block的差别是:

• 在input和scaled feature maps多了一个skip connection。 这可以避免任何特定通道响应将被过度放大或被抑制。
• SE通常用于用于增强特征提取的backbone，而FSM用于neck(top-down pathway)，用于增强多尺度特征聚合。此外，FSM的选定/缩放特征也作为FAM学习alignment offsets的参考。

四、 Conclusion

FaPN改进了FPN和SE模块，使用了deformable卷积提供了卷积核的offsets，类似于一种注意力机制，一个是卷积核注意力机制，一个是通道注意力机制。对于小目标检测或者目标边界有改进的效果。

Reference