（二十七）论文阅读 | 目标检测之MAL

最新推荐文章于 2021-06-16 22:38:22 发布

zhangts20

最新推荐文章于 2021-06-16 22:38:22 发布

阅读量796

点赞数 1

分类专栏：论文阅读文章标签：计算机视觉深度学习

本文链接：https://blog.csdn.net/Skies_/article/details/106959793

版权

论文阅读专栏收录该内容

54 篇文章 33 订阅

订阅专栏

简介

在这里插入图片描述

图1：论文原文

该论文是发表在 ${\rm CVPR\ 2020}$ 上的一篇关于目标检测的论文，针对以往目标检测算法在分类和回归时都是使用的同一组 ${\rm anchor}$ ，文章提出一种在分类和回归阶段动态采样 ${\rm Anchor}$ 的思路。文章将其定义为多 ${\rm anchor}$ 学习，在每一次迭代中选择最优 ${\rm Anchor}$ 来更新模型，然后使用该模型去选择下一次迭代所使用的 ${\rm Anchor}$ 。如此反复下去直到得到最优的 ${\rm Anchor}$ 和最优模型。论文原文源码

0. Abstract

在基于深度学习的目标检测算法中，分类器和回归器往往通过同一组 ${\rm Anchor}$ 优化，作者由于分类和回归的任务性质不相同，这种做法会降低模型整体的性能。论文提出一种多实例学习的方法 ${\rm MAL}$ ，通过在迭代过程选择不同的 ${\rm Anchor}$ 来共同优化分类器和回归器。作者基于 ${\rm RetinaNet}$ 模型，在 ${\rm MS\ COCO}$ 数据集上达到了 ${\rm SOTA}$ 。

论文贡献：（一）提出的 ${\rm MAL}$ 通过动态地评估和选择 ${\rm Anchor}$ 来共同优化分类器和回归器；（二）提出 ${\rm Anchor}$ 抑制策略避免模型陷入局部最优解；（三） ${\rm MAL}$ 达到了 ${\rm SOTA}$ 。

1. Introduction

近来，基于深度学习的目标检测算法将分类和定位整合，从而可以共享卷积特征，通常使用总 ${\rm Loss}$ 完成分器和回归器的优化。通常，为了应对图像目标的多样性，算法往往在图像上铺设足够多的 ${\rm Anchor}$ ，以期充分覆盖图像中的目标。但是，通过一组固定的手工设定的 ${\rm Anchor}$ 来共同优化分类器和回归器会降低模型的整体性能。如， ${\rm IoU}$ 往往作为正负 ${\rm Anchor}$ 采样的唯一标准，而这时如果没有置信度的约束的话，就会出现以下情况：在这里插入图片描述

图2：Baseline和MAL

如上图 ${\rm (a)}$ 是没有使用 ${\rm MAL}$ 的结果。在第一幅图中存在两个候选框，第一个黄色框的置信度较低，而和真实框的交并比较大；第二个红色框的置信度较高，而和真实框的交并比较小。直观上，我们认为应该选择黄色框作为最终的检测结果，但经由 ${\rm NMS}$ 处理产生的最终的检测结果为红色框。图 ${\rm (b)}$ 是 ${\rm MAL}$ 处理后得到的正确的检测结果。

论文提出的 ${\rm MAL}$ 是一种自动学习 ${\rm Anchor}$ 的方法。在训练阶段，基于 ${\rm Anchor}$ 与真实框的交并比，为每个目标产生一个 ${\rm Anchor}$ 袋（形象化的说法，其实就是一组 ${\rm Anchor}$ ）。然后，通过分类置信度和交并比共同决定正样本，使用该组 ${\rm Anchor}$ 更新模型；模型又通过以上规则选择下一组 ${\rm Anchor}$ ，如此重复下去直到得到最优 ${\rm Anchor}$ 和最优模型。

2. Related Work

2.1 Anchor-Based Method

传统的如 ${\rm Faster}$ - ${\rm RCNN}$ 、 ${\rm FPN}$ 、 ${\rm SSD}$ 等方法基于 ${\rm IoU}$ 为 ${\rm Anchor}$ 分类。如果某 ${\rm Anchor}$ 与某真实框的交并比大于设定的正样本阈值，则将其确定为正样本；如果与任何真实框的交并比均小于设定的负样本阈值，则将其确定为负样本。在推理阶段，使用 ${\rm NMS}$ 处理一组与某个目标均有较大交并比的候选框。前人也有许多工作优化每次用于训练的 ${\rm Anchor}$ 。

2.2 Anchor-Free Method

近来，出现了大量 ${\rm Anchor}$ - ${\rm Free}$ 的目标检测方法， ${\rm FCOS}$ 、 ${\rm CornerNet}$ 、 ${\rm RepPoints}$ 等，它们不依赖于人工设定的 ${\rm Anchor}$ 。但作者指出，由于缺乏 ${\rm Anchor}$ 的指导，这类方法中的边界框回归仍是一个值得关注的问题。

3. The Proposed Approach

${\rm MAL}$ 基于 ${\rm RetinaNet}$ 实现，它在此基础上优化了 ${\rm RetinaNet}$ 中的 ${\rm Anchor}$ 选择方案。 ${\rm RetinaNet}$ 的结构如下：
在这里插入图片描述

图3：RetinaNet

3.1 RetinaNet Revisit

如图 $3$ ， ${\rm RetinaNet}$ 的左端是一个 ${\rm FPN}$ 。对于 ${\rm FPN}$ 的每一层，使用一个分类分支和回归分支用于预测物体的类别和位置。同时，针对前景背景类别的极不平衡性， ${\rm RetinaNet}$ 使用 ${\rm Focal\ Loss}$ 作为损失函数。现令 $x\in \mathcal{X}$ 表示输入图像，它的标注类别为 $y\in \mathcal{Y}$ 。其中 $\mathcal{X}$ 表示训练数据集集合， $\mathcal{Y}$ 表示标注类别信息集合。 $B$ 为标注的边界框，任一边界框 $b_i\in B$ 由其类别 $b_i^{cls}$ 和位置 $b_i^{loc}$ 组成。 ${\rm Anchor}$ 为 $a_j$ 对应的置信度预测和位置预测分别为 $a_j^{cls}$ 和 $a_j^{loc}$ 。同时，当 ${\rm Anchor}$ 与标注框的交并比大于给定的正样本阈值，则确定其为正样本 $a_{j+}$ ；否则为负样本 $a_{j-}$ 。则网络的学习由如下函数监督： $\theta^*=\arg \max_\theta(f_{\theta}(a_{j+},b_i^{cls})-\gamma f_{\theta}(a_{j-},b_i^{cls}))\tag{1}$

其中， $f_{\theta}(·)$ 表示分类程序， $\gamma$ 用于平衡正负样本。上式对应于 ${\rm RetinaNet}$ 中的分类损失部分。同时， ${\rm RetinaNet}$ 中的回归损失可以表示如下： $\theta^*=\arg \max_{\theta}g_{\theta}(a_{j+},b_i^{loc})\tag{2}$

注意回归损失只涉及正样本的计算。上式中的 $\theta$ 均表示网络的参数， $g_{\theta}(·)$ 表示回归程序。对于上式 $(1)$ 和式 $(2)$ ，通常分别使用 ${\rm Focal\ Loss}$ 和 ${\rm SmoothL1\ Loss}$ ，即表示为 $\mathcal{L}_{cls}=(a_j,b_i^{cls})$ 和 $\mathcal{L}_{loc}=(a_j,b_i^{loc})$ 。

在训练 ${\rm RetinaNet}$ 的整个过程中，每个采样的 ${\rm Anchor}$ 独立地监督网络学习目标的分类和定位，而没有使用二者之间的相关性。这可能导致产生的结果具有很高的定位精度，但是由于具有较低的置信度而被 ${\rm NMS}$ 筛选掉。

3.2 Multiple Anchor Learning

为了解决上述问题，论文提出多 ${\rm Anchor}$ 学习的策略，如下图：在这里插入图片描述

图4：MAL的整体流程

在每次迭代过程中， ${\rm MAL}$ 从 ${\rm Anchor}$ 袋中挑选出高得分的 ${\rm Anchor}$ 的用于更新模型，然后模型会评估具有新的置信度的 ${\rm Anchor}$ 用于构建下一次迭代所使用的 ${\rm Anchor}$ 袋。注意这是一个交替优化的过程：首先使用最优化的 ${\rm Anchor}$ 去更新参数得到最优化的模型；然后最优化的模型反过来选择最优化的 ${\rm Anchor}$ 。如此下去得到最终的优化结果。具体流程如下：对于物体 $i^{th}$ ，为其建立一个 ${\rm Anchor}$ 袋 $A_i$ 。 $A_i$ 中包含了与物体 $i^{th}$ 具有最高交并比的 $k$ 个 ${\rm Anchor}$ 。然后， ${\rm MAL}$ 基于分类和回归置信度共同评估 $A_i$ 中的 ${\rm Anchor}$ ，该置信度主要用于确定 ${\rm Anchor}$ 的选择。基于 ${\rm RetinaNet}$ ， ${\rm MAL}$ 的目标函数定义如下： $\begin{aligned} \{\theta^*,a_i^*\} &=\arg \max_{\theta,a_j\in A_i}F_{\theta}(a_j,b_i)\\ &=\arg \max_{\theta,a_j\in A_i}f_{\theta}(a_j,b_i^{cls})+\beta g_{\theta}(a_j,b_i^{loc}) \end{aligned}\tag{3}$

上式可以为物体 $i^{th}$ 找到最优 ${\rm Anchor}$ 为 $a_i^*$ ，同时为模型找到最优参数为 $\theta^*$ 。则 ${\rm MAL}$ 的损失函数可写作： $\begin{aligned} \{\theta^*,a_i^*\} &=\arg \min_{\theta,a_j\in A_i}\mathcal{L}_{det}(a_j,b_i)\\ &=\arg \min_{\theta,a_j\in A_i}\mathcal{L}_{cls}(a_j,b_i^{cls})+\beta \mathcal{L}_{reg}(a_j,b_i^{loc})\tag{4} \end{aligned}$

3.3 Selection-Depression Optimization

随机梯度下降是一种非凸函数的优化方法，它可能得到次优解。为了在每次迭代中选择最优的 ${\rm Anchor}$ ， ${\rm MAL}$ 通过扰动 ${\rm Anchor}$ 的特征来降低选择 ${\rm Anchor}$ 时的置信度。

3.3.1 Anchor Selection

传统的 ${\rm MIL}$ 算法倾向于选择得分最高的一组 ${\rm Anchor}$ 。但是在目标检测中，很难直接从每个 ${\rm Anchor}$ 袋中选择出得分最高的 ${\rm Anchor}$ 。论文提出的方法是，在学习过程中线性地降低 ${\rm Anchor}$ 袋的数量，从 $A_i|$ 到 $1$ 。这里，令 $\lambda=t/T$ ，其中 $t$ 和 $T$ 表示当前迭代次数和总的迭代次数； $\phi(\lambda)$ 表示最高得分的 ${\rm Anchor}$ 的索引且 $|\phi(\lambda)|=|A_i|*(1-\lambda)+1$ 。则上式 ${\rm (3)}$ 可写作： $\{\theta^*,a_i^*\} =\arg \max_{\theta,a_j\in A_i}\sum_{j\in \phi(\lambda)}F_{\theta}(a_j,b_i)\tag{5}$

基于上式， ${\rm MAL}$ 在前期模型利用众多 ${\rm Anchor}$ 来更新学习。最后，随着迭代的进行，最终得到的一个 ${\rm Anchor}$ 即为当前目标所对应的最优 ${\rm Anchor}$ 。

3.3.2 Anchor Depression

基于 ${\rm IAN}$ ， ${\rm MAL}$ 提出 ${\rm Anchor}$ 抑制模块来扰动其特征，从而降低 ${\rm Anchor}$ 的置信度。如下图：
在这里插入图片描述

图5：Anchor Depression

为了进一步优化训练损失函数， ${\rm MAL}$ 基于选择的 ${\rm Anchor}$ 学习更加丰富的特征。设卷积特征图和注意力特征图分别为 $U$ 和 $M$ ，其中 $M=\sum_{l}w_l*U_l$ 、 $w$ 表示全局平均池化、 $l$ 为通道索引。通过将最高得分的 ${\rm Anchor}$ 设置为零后得到一个新的抑制后的特征图 $M^{'}=(1-1_{P})*M$ ，其中 $P$ 表示高置信度的位置。则特征图变为： $V=(\bold 1+M^{'})\circ U_l\tag{6}$

其中 $\bold 1$ 表示单位矩阵、 $\circ$ 表示对应位置元素相乘。结合本节内容，上式 $(6)$ 变为： $V=(\bold 1+(1-1_{\psi(\lambda)})*M)\circ U_l\tag{7}$

3.4 Implementation

${\rm MAL}$ 基于 ${\rm RetinaNet}$ ，不同的是 ${\rm MAL}$ 在前向传播的过程中，首先计算每个 ${\rm Anchor}$ 的检测置信度，然后选择 $t o p$ - $k$ 个 ${\rm Anchor}$ 组成 ${\rm Anchor}$ 袋。然后通过 $3.3$ 节的内容抑制 ${\rm Anchor}$ 的分数，接着使用最佳 ${\rm Anchor}$ 更新模型。最后重复以上过程直到完成整个检测流程。 ${\rm MAL}$ 的推理过程与 ${\rm RetinaNet}$ 基本相同。

3.5 Optimization Analysis

${\rm Anchor}$ 选择-抑制策略类似于一个对抗过程： ${\rm Anchor}$ 选择的目的是找到最高分数的 ${\rm Anchor}$ 来最小化 $\mathcal L_{det}$ ；然后 ${\rm Anchor}$ 抑制的目的是扰乱特征使其置信度降低，从而会使 $\mathcal L_{det}$ 增大。但同时这一过程也有助于 ${\rm MAL}$ 在非凸函数中找到最优解。如下图：在这里插入图片描述

图6：Anchor选择-抑制

4. Experiments

在这里插入图片描述

图7：MAL和RetinaNet

上图第一行和第三行是 ${\rm RetinaNet}$ 的可视化结果，第二行和第四行是 ${\rm MAL}$ 的可视化结果。由结果图对比可知， ${\rm MAL}$ 能够抑制大多数无关的背景信息，同时保留更多的前景信息。
在这里插入图片描述

图8：消融实验

在这里插入图片描述

图9：与其他目标检测方法的对比

5. Conclusion

论文提出一种动态 ${\rm Anchor}$ 的概念，在训练的迭代过程中使用的 ${\rm Anchor}$ 不尽相同，这主要取决于上一轮 ${\rm Anchor}$ 所更新的模型。同时在选择 ${\rm Anchor}$ 时，抑制得分最高的 ${\rm Anchor}$ ，以避免模型陷入次优解。这个 ${\rm Anchor}$ 的选择和抑制的过程像是是一个对抗的过程。而整个 ${\rm MAL}$ 的训练过程是一个循环迭代的过程。

参考

Ke W, Zhang T, Huang Z, et al. Multiple Anchor Learning for Visual Object Detection[C]//Proceedingags of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 10206-10215.
https://blog.csdn.net/sinat_17456165/article/details/106798986.

完