（五）论文阅读 | 目标检测之Libra R-CNN

最新推荐文章于 2022-04-19 18:48:27 发布

zhangts20

最新推荐文章于 2022-04-19 18:48:27 发布

阅读量696

点赞数 1

分类专栏：论文阅读文章标签：计算机视觉深度学习人工智能

本文链接：https://blog.csdn.net/Skies_/article/details/104621797

版权

论文阅读专栏收录该内容

54 篇文章 33 订阅

订阅专栏

简介

在这里插入图片描述

图1：论文原文

论文是发表在 ${\rm CVPR\ 2019}$ 上的一篇关于目标检测论文，主要讨论的是在训练目标检测模型时的一种平衡学习的思想。引入平衡学习的目标检测模型性能在原模型基于 ${\rm MS\ COCO}$ 数据集 ${\rm Faster\ R}$ - ${\rm CNN}$ 和 ${\rm RetinaNet}$ 上分别提升 ${\rm 2.5}$ 个点和 ${\rm 2.0}$ 个点。表明论文提出的方法对一阶段检测算法和二阶段检测算法均有效。论文原文源码

0. Abstract

论文摘要部分指出，人们往往更加注重网络结构的设计，而关注较少的训练过程对模型性能的影响。基于大量目标检测方法，作者认为检测器的性能与训练过程的不平衡性有关：采样、特征、损失函数。论文提出的 ${\rm Libra\ R}$ - ${\rm CNN}$ 包含 ${\rm IoU}$ 平衡采样、平衡特征金字塔、平衡 ${\rm L1}$ 损失对应于解决上述问题。

论文贡献：（一）指出训练过程中存在的三类不平衡的问题影响了目标检测算法的性能；（二）提出 ${\rm Libra\ R}$ - ${\rm CNN}$ 用于解决上述三类问题；（三）平衡学习的思想适用于当前大多数的目标检测方法，在当前目标检测算法上表现 ${\rm SOTA}$ 。

1. Introduction

引言部分，作者首先指出一阶段算法或二阶段算法大都遵循一种通用的训练方法：选择候选区域、提取特征、通过多任务损失函数识别和修正。

基于上述流程，算法的成功与否对应于三个方面：选择的候选区域是否具有代表性、是否充分利用提取的特征、损失函数是否最优。作者将这三类问题归结为： $(1)$ 采样不平衡，正负样本的平衡采样对提高目标检测算法性能至关重要。而不平衡采样通常是由随机采样造成的，随后提出的 ${\rm OHEM}$ 是一种有效的缓解方法，但其对噪声敏感且需要巨大的存储空间和计算量、 ${\rm Focal\ Loss}$ 在一阶段算法中能有效缓解采样不平衡的问题，但由于大多数负样本被 ${\rm RPN}$ 等过滤掉，其在 ${\rm RCNN}$ 类算法中成效甚微； $(2)$ 特征不平衡， ${\rm FPN}$ 和 ${\rm PANet}$ 采用了将高层信息和低层信息融合的方法提高了检测器的性能。但其融合方法是否为为最佳？作者研究指出融合时需要平衡地利用不同分辨率的特征； $(3)$ 损失函数不平衡(这里暂且这样翻译，论文原意是指能否设计出合适的损失函数，使得分类任务和定位任务平衡)，目标检测任务同时包含分类和定位任务，如果二者在训练过程中不能达到适当的平衡，某个任务可能会取得较差的结果。下图列出了训练过程中的不平衡：
在这里插入图片描述

图2：训练过程中的不平衡

对应于上述问题，论文提出的 ${\rm Libra\ R}$ - ${\rm CNN}$ 包含三个对应的解决方法： ${\rm IoU}$ 平衡采样，根据候选框与标注框的 ${\rm IoU}$ 挖掘难例样本；平衡特征金字塔，使用深度集成的语义特征来增强多级特征；平衡 ${\rm L1}$ 损失，提升关键部分的梯度，从而重新平衡分类和定位任务。

2. Related Work

在目标检测方法方面，一阶段检测算法 ${\rm R}$ - ${\rm CNN}$ 、 ${\rm SPP}$ 、 ${\rm Fast}$ ${\rm R}$ - ${\rm CNN}$ 、 ${\rm Fater}$ ${\rm R}$ - ${\rm CNN}$ 、 ${\rm FPN}$ 、 ${\rm Cascade\ R}$ - ${\rm CNN}$ 、 ${\rm Mask\ R}$ - ${\rm CNN}$ 、 ${\rm HTC}$ ，两阶段检测算法 ${\rm YOLO}$ 、 ${\rm SSD}$ 、 ${\rm RetinaNet}$ 、 ${\rm CornerNet}$ 。

在平衡学习方面，采样平衡 ${\rm OHEM}$ 、 ${\rm Focal\ Loss}$ ，特征平衡 ${\rm FPN}$ 、 ${\rm PANet}$ 、 ${\rm Global}$ - ${\rm Local}$ ，损失函数平衡 ${\rm Multi}$ - ${\rm Task\ Learning}$ 、 ${\rm UnitBox}$ 、 ${\rm IoU}$ - ${\rm Net}$ 。

3. Methodology

在这里插入图片描述

图3：Libra R-CNN

上图是 ${\rm Libra\ R}$ - ${\rm CNN}$ 的结构，下面将分别介绍图中设计的 ${\rm IoU}$ 平衡采样、平衡特征金字塔和平衡 ${\rm L1}$ 损失。

3.1 IoU-Balanced Sampling

难例采样是目标检测中的常用手段，所谓难例采样指在训练过程中，首先生成大量候选框，而其中大量为负样本且大部分负样本对训练有弊无利；而其中少量的正样本对训练有利。这时，为了提高模型的性能，通常会将错得很厉害的样本( ${\rm IoU}$ 值很小的负样本，对应于损失值较大的样本，同时称这类样本为难例负样本)重新扔回网络训练，一方面可以缓解正负样本不平衡的问题，另一方面模型通过反复训练这类样本有助于提高模型的鲁棒性。则称采样这类样本的过程称为难例采样。针对采样结果，论文做了一个实验，得到如下结果：
在这里插入图片描述

图4：不同采样方法得到的IoU值

由上图可知，由随机采样得到的结果中，超过 ${\rm 70\%}$ 的样本的 ${\rm IoU}$ 在 $0$ 到 $0.05$ 之间。造成这种结果的主要原因是，一幅图像中目标可能只占很小块区域，而大部分候选框不包含目标信息。而实验得到 ${\rm 60\%}$ 的难例样本的 ${\rm IoU}$ 大于 $0.05$ ，随机采样的结果只能贡献 ${\rm 30\%}$ 的难例样本。不平衡性的采样方法导致大量难例样本的丢失。

基于实验结果，论文提出了 ${\rm IoU}$ 平衡采样，其思想是：假设需要从 $M$ 个样本中采样 $N$ 个负样本，则每个样本的概率为 $p = N / M$ 。为了提高难例样本被选中的概率，采取如下操作：根据 ${\rm IoU}$ 将采样区间均匀地分为 $K$ 个格子，然后在每个格子中均匀地采样 $N$ 个难例样本。因此，由 ${\rm IoU}$ 平衡采样得到每个难例样本的概率为：
$p_k=\frac{N}{K}*\frac{1}{M_k}\ k∈[0,K) \tag{3.1}$

其中 $M_k$ 为每个格子中候选样本的数量， $k$ 为区间数， $K = 3$ ，后续实验证明模型对 $K$ 值的选取不敏感。上述采样方法可避免在某几个区间集中采样，将采样操作平均到各个区间中，有助于采样结果的平衡性。由上图可以得到， ${\rm IoU}$ 平衡采样的结果接近于难例挖掘。论文还指出，该采样方法也可用于难例正样本采样，但是由于正类候选样本不足，则可以采用对每个标注框平均采样的方法。

3.2 Balanced Feature Pyramid

在这里插入图片描述

图5：平衡特征金字塔

假设以 $C_l$ 表示第 $l$ 层特征，以 $L$ 表示特征层的数目，以 $l_{min}$ 和 $l_{max}$ 分别表示最低层特征和最高层特征。为了整和不同特征层的语义信息，论文提出：使用插值或池化的方法将不同特征层 $C_2,C_3,C_4,C_5$ 整合为一个适中的尺寸 $C_4$ ，即得到的平衡语义特征为：
$C=\frac{1}{L}\sum_{l=l_{min}}^{l_{max}}C_l\tag{3.2}$

接着，论文使用高斯非局部注意力机制加强整合的特征。由上图我们可以看到，平衡金字塔对特征层采取了额外的整合和精修两个阶段。最后，使用 ${P_2,P_3,P_4,P_5}$ 作为预测层，分辨率与处理前一致。

3.3 Balanced L1 Loss

首先看一下多任务损失函数的形式：
$L_{p,u,t^u,v}=L_{cls}(p,u)+λ[u≥1]L_{loc}(t^u,v)\tag{3.3}$

$L_{cls}$ 和 $L_{loc}$ 分别为分类损失和定位损失 $p、t^u$ 和 $u 、 v$ 分为别预测内容和标注内容， $λ$ 为平衡参数。现在定义：损失函数值大于或等于1.0的样本成为离群点，其余的称为内联点。平衡分类任务和定位任务的通用做法是调整损失的权重，但这也会使得模型对离群点敏感。离群点可视为难例样本，会产生较大的梯度而对训练过程有害；内联点可视为易分样本，只会产生较小的梯度。基于上述情况，论文提出了平衡 ${\rm L1}$ 损失 $L_b$ ，平衡 ${\rm L1}$ 损失来自于 ${\rm L1\ Smooth}$ 损失。

${\rm L1\ Smooth}$ 损失函数的形式为： $=\left\{ \begin{aligned} &0.5x^2&if\ |x|＜1\\ &|x|-0.5&otherwise \end{aligned} \right.$

求导： $\frac{∂L}{∂x} =\left\{ \begin{aligned} &x&if\ |x|＜1\\ &-1&x<-1\\ &1&x>1 \end{aligned} \right.$

基于上式 ${\rm L1\ Smooth}$ 损失函数的导数形式，论文提出的 $L_b$ 满足：

$\frac{∂L_b}{∂x} =\left\{ \begin{aligned} &α{\rm ln}(b|x|+1)&if\ |x|＜1\\ &γ&otherwise \end{aligned} \right.\tag{3.4}$

则回归损失可写为：
$L_{loc}=\sum_{i∈x,y,w,h}L_b(t_i^u-v_i)\tag{3.5}$

梯度计算方法为：
$\frac{∂L_{loc}}{∂w}∝\frac{∂L_b}{∂t_i^u}∝\frac{∂L_b}{∂x}\tag{3.6}$

根据上述导数形式，反求出 $L_b$ 的形式为：
$L_b(x) =\left\{ \begin{aligned} &\frac{α}{b}(b|x|+1){\rm ln}(b|x|+1))-α|x|&if\ |x|＜1\\ &γ|x|+C&otherwise \end{aligned} \right.\tag{3.7}$

其中各参数满足下式：
${α}{\rm ln}(b+1)=γ\tag{3.8}$

平衡 ${\rm L1}$ 损失同 ${\rm L1\ Smooth}$ 损失的实验结果对比：
在这里插入图片描述

图6：损失函数实验结果对比

由上图可知，在损失值增长不明显的情况下，梯度增加非常快。

4. Experiments

在这里插入图片描述

图7：实验结果对比

各部分平衡学习的消融实验：
在这里插入图片描述

图8：消融实验结果对比

此外，文章还对三个不同平衡学习的参数设置做了消融实验，具体结果可查看原论文。

5. Conclusion

本文首先指出训练过程中的不平衡性会影响目标检测器的性能，然后针对不同部分提出平衡学习的思想，进而提出 ${\rm Libra\ R}$ - ${\rm CNN}$ 。实验证明，平衡学习的思想对于一阶段检测算法和两阶段检测算法均有提升。论文提出的平衡学习的思想对于训练深度学习模型很有借鉴作用，考虑以后能作为提高目标检测算法性能的一种选择。

参考

https://zhuanlan.zhihu.com/p/64541760.
Pang J, Chen K, Shi J, et al. Libra r-cnn: Towards balanced learning for object detection[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 821-830.

完