（二十九）论文阅读 | 目标检测之RCL

最新推荐文章于 2024-07-03 22:30:19 发布

zhangts20

最新推荐文章于 2024-07-03 22:30:19 发布

阅读量1.6k

点赞数

分类专栏：论文阅读文章标签：深度学习计算机视觉人工智能

本文链接：https://blog.csdn.net/Skies_/article/details/107287686

版权

论文阅读专栏收录该内容

54 篇文章 33 订阅

订阅专栏

简介

在这里插入图片描述

图1：论文原文

本文介绍的 ${\rm CVPR\ 2020}$ 的一篇关于目标检测文章，该文章关注点是目标检测模型中的检测头。以往的目标检测模型检测头有全连接和卷积两种，论文详细探讨并论证了这两种检测头的检测结果，提出双检测头结构。文章以 ${\rm FPN}$ 为基础模型，在基于 ${\rm ResNet}$ - $50$ 和 ${\rm ResNet}$ - $101$ 的骨干网络上分别获得了 $3.5$ 和 $2.8$ 的提升。论文原文

0. Abstract

在基于区域的目标检测模型中，常用的检测头包括全连接和卷积两种。论文通过分析发现关于这两种检测头的一大特点：全连接检测头更适合于分类任务，卷积检测头更适合于定位任务。同时，通过分析两种检测头的输出特征，全连接检测头的空间敏感度比卷积的更高。因此，全连接检测头善于通过物体的部分特征而推断出物体的类别，但对于物体的定位没有鲁棒性。基于大量观察及实验分析，作者提出一种双检测头结构：全连接检测头用于目标分类，卷积检测头用于目标定位。

论文贡献：（一）由大量实验分析得出目标检测中常用的全连接检测头和卷积检测头的特点；（二）结合全连接检测头和卷积检测头的特点提出双检测头的结构，提高了原基于单检测头的目标检测模型的性能。

1. Introduction

大多数两阶段目标检测算法的分类和回归任务共用一个检测头。例如 ${\rm Faster}$ - ${\rm RCNN}$ 中使用的是卷积的检测头， ${\rm FPN}$ 中使用的是全连接的检测头。但其实，不同的检测头对不同的任务具有不同的敏感度。在论文中，作者通过比较大量全连接检测头卷积检测头，提出这两种检测头是互补的：全连接检测头更适于分类任务，卷积检测头更适用于回归任务。作者认为这是由于全连接检测头的空间敏感性，针对候选区域的不同部分给出不同的响应；而卷积检测头在候选区域的所有部分都共享参数。作者通过对两种检测头的输出特征图进行分析，得到全连接检测头的空间敏感度更高。即，全连接检测头更擅长区分一个完整的物体或物体的一部分（对应于分类任务）；卷积检测头更擅长回归整个物体（对应于回归任务）。如下图 ${\rm (a)}$ 和 ${\rm (b)}$ 分别是全连接检测头和卷积检测头：
在这里插入图片描述

图2：fc-head和conv-head

2. Related Work

一阶段检测算法： ${\rm OverFeat}$ ， ${\rm SSD}$ ， ${\rm YOLO}$ ， ${\rm RetinaNet}$ 以及基于关键点的一阶段目标检测算法等；
两阶段检测算法： ${\rm RCNN}$ 系列、 ${\rm SPPNet}$ 、 ${\rm R}$ - ${\rm FCN}$ 、 ${\rm FPN}$ 等；
骨干网络： ${\rm VGG}$ - $16$ 、 ${\rm ResNet}$ 、 ${\rm DCN}$ 、 ${\rm TridentNet}$ 、 ${\rm MobileNet}$ 、 ${\rm ShuffleNet}$ 等；
检测头： ${\rm Light}$ - ${\rm Head\ RCNN}$ 、 ${\rm Cascade\ RCNN}$ 、 ${\rm Mask\ RCNN}$ 、 ${\rm Mask\ Scoring\ RCNN}$ 、 ${\rm IoU}$ - ${\rm Net}$ 等。

3. Analysis: Comparison between fc-head and conv-head

3.1 Data Processing for Analysis

为了客观的对比，为每个目标预设定约 $14000$ 个候选框，预选框通过滑动窗口产生。对于每个候选框，全连接检测头和卷积检测头产生分类和回归结果。并且，根据候选框和对应真实框的交并比将所有候选框分为 $20$ 组。
在这里插入图片描述

图3：fc-head和conv-head的对比

上图第一行是分类得分图，第二行是回归交并比图。由第一行的结果图得知，在交并比较高时，全连接检测头得到的分类得分比卷积检测头的更高，尤其是对于小目标；由第二行的结果图得知，在交并比较高时(大于 $0.4$ )，卷积检测头得到的交并比比全连接检测头的更高。

3.2 Comparison on Classification Task

为了验证上图中第一行所得到结果的规律，论文计算了交并比与分类得分之间的皮尔逊相关系数（用于衡量两个变量之间的相关性），得到的结果如下：
在这里插入图片描述

图4：PCC(1)

由上图可知，全连接检测头与交并比的皮尔逊相关系数比卷积检测头的更高。前面提到的建议框是通过滑动窗口产生的，作者又使用 ${\rm RPN}$ 产生建议框和 ${\rm NMS}$ 后的结果来做对比实验，如下图：
在这里插入图片描述

图5：PCC(2)

该图的实验结果与上图类似。

3.3 Comparison on Localization Task

见 $(3.1)$ 中的第二行结果图分析。

3.4 Discussion

为什么全连接检测头中分类得分和交并比的相关性更大？作者给出的解释是：全连接检测头的空间敏感度更高。直观上来讲，全连接检测头对于输入特征图的连接方式是全连接，这丢失了许多空间信息。因此，全连接检测头能够却分整个物体或物体的一部分。相反，卷积检测头使用卷积操作共享参数，然后使用全局平均池化以保留输入特征图中的空间信息。

进一步，卷积检测头的输出是一个 $7 \times 7$ 的特征图，使用相应的两个特征向量之间的余弦距离来计算任意一对位置的相关性。每个位置的产生一个 $7 \times 7$ 的相关矩阵表示当前位置与其他位置的相关性。然后将所有相关矩阵叠加，就可以得到下图：
在这里插入图片描述

图6：空间相关性(1)

全连接检测头的输出是一个 $1024$ 维的向量，论文通过以下方法来构建它的输出特征图：基于空间位置分割全连接层( $256 \cdot 7 \cdot 7 \times 1024$ )的权重矩阵，即 $7 \times 7$ 特征图上的每个位置都是 $256 \times 1024$ 维的向量。全连接检测头的相关矩阵如下：
在这里插入图片描述

图7：空间相关性(2)

4. Our Approach: Double-Head

4.1 Network Structure

在这里插入图片描述

图8：double-head

上图是论文提出的第一种双检测头结构。在全连接检测头中，输出维度是 $1024$ ，参数是 ${\rm 13.25M}$ 。在卷积检测头中，一共堆叠了 $K$ 个残差模块，输出维度也为 $1024$ 。第一个残差模块如下图 ${\rm (a)}$ 所示，后面几个残差模块如图 ${\rm (b)}$ / ${\rm (c)}$ 所示。
在这里插入图片描述

图9：residual-module

对于这种双检测头，损失函数定义如下： $\mathcal{L}=\omega^{fc}\mathcal{L}^{fc}+\omega^{conv}\mathcal{L}^{conv}+\mathcal{L}^{rpn}\tag{1}$

4.2 Extension: Leveraging Unfocused Tasks

除此之外，论文还提出另一种双检测头结构，如下图：
在这里插入图片描述

图10：double-head-ext

图中的卷积操作如图 $(9)$ 所示。对于这种双检测头，全连接检测头的损失函数定义如下： $\mathcal{L}^{fc}=\lambda^{fc}L_{cls}^{fc}+(1-\lambda^{fc})L_{reg}^{fc}\tag{2}$

卷积检测头的损失函数定义如下： $\mathcal{L}^{conv}=(1-\lambda^{conv})L_{cls}^{conv}+\lambda^{conv}L_{reg}^{conv}\tag{3}$

分类信息的融合方式如下： $s=s^{fc}+s^{conv}(1-s^{fc})=s^{conv}+s^{fc}(1-s^{conv})\tag{4}$

5. Experimental Results

论文首先做了关于双全连接检测头、双卷积检测头、双检测头和逆双检测头的对比实验：
在这里插入图片描述

图11：各种检测头的实验结果对比

在这里插入图片描述

图12：损失函数权重

在这里插入图片描述

图13：目标检测模型实验结果对比

6. Conclusions

论文通过分析全连接检测头和卷积检测头的特点，得出全连接检测头更适合分类任务，卷积检测头更适合定位任务，由此提出双检测头的结构。实验结果为在原单检测头结构的基础上提高了目标检测模型性能。

参考

Wu Y, Chen Y, Yuan L, et al. Rethinking Classification and Localization for Object Detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 10186-10195.

完