笔记：论文阅读Learning Spatial Fusion for Single-Shot Object Detection

基于学习空间融合的单阶段目标检测

摘要

不同特征尺度之间的不一致性是基于特征金字塔的单阶段检测器的主要缺陷。

本文提出了一种新的基于数据驱动的金字塔特征融合策略，称为自适应空间特征融合（ASFF）。它学习了空间过滤冲突信息的方法来抑制不一致性，从而提高了特征的尺度不变性，并且开销小。

一介绍

不一致性：大实例通常与上feature map相关联，小实例与下feature map相关联。当某一对象在某一级别的feature map中被指定为正时，其他级别的feature map中的相应区域被视为背景。因此，如果一幅图像同时包含大小物体，则不同层次特征之间的冲突往往占据特征金字塔的主要部分。

本文提出ASFF，以解决单发探测器特征金字塔的不一致性。

所提出的方法使网络能直接学习如何在空间上过滤其他层次的特征，以便只保留有用的信息进行组合。

在每个空间位置，不同层次的特征被自适应地融合，也就是说，一些特征在这个位置携带矛盾的信息时可能被过滤掉，而一些特征可能以更具争议性的线索支配。

ASFF具有以下优点：（1）由于搜索最优融合的操作是差分的，因此可以方便地在反向传播中学习；（2）它对骨干模型非常敏感，适用于具有特征金字塔结构的单点探测器；其实现简单，计算量小。

二相关工作

三方法

1.Strong Baseline

采用YOLOv3框架，因为它简单高效。使用其他论文方法，在改进基础上，利用训练过程中的一系列技巧，如混合算法、余弦学习率调度和同步批处理非恶意化技术。除了这些技巧之外，还添加了一个无锚分支来与基于锚的分支一起运行，并利用的锚引导机制来改进结果。此外，在原光滑L1损失上采用了额外的交并（IoU）损失函数，以获得更好的边界盒回归。

2.自适应空间特征融合

与以往的基于元素和或级联的多层次特征融合方法不同，核心思想是自适应地学习各尺度特征映射融合的空间权重。

管道如下图所示，由两个步骤组成：相同的重新缩放和自适应融合。

以上三个level，在i层level上将其他level调整为与i相同大小。

上采样：1×1卷积通道压缩，然后使用插值来提高分辨率。

1/2比例的下采样，使用一个3×3卷积（步长为2）来同时修改通道数和分辨率。1/4比例，在2步卷积之前添加了一个2步最大池化层。

自适应特征融合：

x：相应位置相应层特征 a b r:权重 强制：

定义

控制参数，用1x1卷积进行反向传播学习得到。

3.解释一致性

YOLOv3梯度：

尺度变换下，为常数，因此取得：

进一步简化（y对x求导相当于激活操作，也为常数）得：

加入ASFF，一层为正，其他层为负样本时，梯度如下：

由于参数可以通过标准的反向传播算法来学习，进而协调不一致性。

4.训练测试

设Θ表示网络参数集（例如卷积滤波器的权重），Φ={λlα，λlβ，λlγ| l=1，2，3}为控制每个尺度的空间融合的融合参数集。我们通过最小化损失函数L（Θ，Φ）来共同优化这两组参数，其中L是原始的YOLOv3目标函数加上锚形状预测和包围盒回归的IoU回归损失。

四实验