Bag of Freebies for Training Object Detection Neural Networks

 

Abstract

与大量为了得到更好的图像分类模型的研究相比，研究人员在目标检测训练上的研究会由于它的普遍性与普及性的影响少得多。由于复杂多的网络结果，优化目标，许多训练阶段与pipline是专门为检测算法设计的，别的并不通用。本文中，我们研究通用的模型微调技巧，使得在不牺牲inference速度的前提下，增强state of the art目标检测模型的表现到一个新的水平。我们的实验展示出这些技巧最多可以直接提示5%的准确率，大家都应该考虑将这些方法一定程度应用在目标检测训练上。

1、Introduction

目标检测毫无疑问是当前吸引各方研究者视线的前沿CV领域之一。最新的state-of-the-art检测器，包括单步（SSD【12】与YOLO【16】）或者多步RCNN类【17】的网络，都是基于图像分类骨架的网络，例如VGG【20】、ResNet【7】、Inception【21】与MobileNet系列【9，19】。

然而，由于相对较高的模型容量与训练复杂度，目标检测吸引的目光较少，很难从当前训练技巧的研究中受益。更糟的是，不同的目标检测网络选择不同的训练pipelines，而且没有明确的初始化、数据预处理与优化分析思路。这导致很难将证明有效的提升图像分类任务效果的最新技术应用到检测领域。

本文中，我们专注于探索可以增强当前流行的目标检测网络而不引入额外计算量的有效方法。我们首先探索mixup技术在目标检测中的应用。与文献【23】不同，我们发现多目标检测任务更注重空间不变的变换这一重要特点，因此提出了一种针对目标检测任务的视觉一致性图像mixup方法。第二，我们研究训练pipeline的细节，包括学习率调节、权重衰减与同步BN。第三，我们通过持续叠加我们的训练技巧到单步与多步的目标检测网络上来验证它的有效性。

我们主要的贡献总结如下：

1. 我们首先系统的评估了应用在不用目标检测pipeline的多种训练技巧，为后续的研究提供了实用有价值的guidelines。
2. 我们提出了一种为训练目标检测网络设计的视觉一致性图像mixup方法，并且被证明对于提升模型的鲁棒性相当有效。
3. 我们在现有模型基础上，在不改变模型结果与loss函数的前提下，达到了高于现有模型5%到30%的准确率提升。并且我们的成果不会造成任何inference时间消耗。
4. 我们将研究的范围扩展到目标检测数据扩展领域，显著的增强了模型的鲁棒性并减少了过拟合问题。实验结果还展示出好的技术可以增强不同网络结构的目标检测表现。

本文将会组织如下。首先，我们会在第二节中简单介绍之前优化图像分类模型并且有潜力应用到目标检测上的工作。第二，在第三节中详细的介绍提出的技巧细节。第三，第四节中会展示实验结果。最后，在第五节中总结本文的工作。

所有相关的代码都开源了，预训练权重在GluonCV工具箱【1】可下载。

 

2、Related Work

本章中，我们简单讨论图像分类tricks的相关工作并利用共通之处启发目标检测方法。

2.1 Scattering tricks from Image Classification

图像分类是几乎所有CV任务的基石。分类模型相对于流行的目标检测模型与语义分类模型来说要轻量级的多，因此也吸引了许多研究人员提出了不同思路。本节中，我们通过简单介绍之前的工作来为本文内容做一个引子。学习率warmup技巧【6】是用来解决极大mini-batchsize带来的负面影响。有趣的是，即使是典型目标检测训练中的mini-batch size如今也与图像分类（例如10K或者30K），数量巨大的anchor size（高至30K）有效的隐式增加了batchsize的大小。在我们的实验中渐进式的warmup策略对于YOLOv3来说相当重要。有一系列方法试图解决深度神经网络的弱点。Label smoothing在文献【21】中提了出来，修改了cross entropy loss中的GT标签。文献【23】中提出了m