Bag of Freebies for Training Object Detection Neural Networks学习笔记

论文：Bag of Freebies for Training Object Detection Neural Networks
发表日期：2019.2.11
github:GluonCV,模型的预训练权重可在GluonCV工具包中获得。

本文介绍一篇很棒的目标检测训练技巧论文。该论文是由Amazon Web Services 提出，其中作者团队中就有李沐等大神。之前Amazon还提出图像分类的Tricks论文，详见 亚马逊：用CNN进行图像分类的Tricks

Abstract

目标检测训练与图像分类模型的研究相比，相对缺少普遍性。由于网络结构和优化目标明显更加复杂，因此针对某些检测算法而不是其他检测算法专门设计了各种训练策略和 pipelines。在这项工作中，我们探索了有助于将最先进的目标检测模型的性能提升到一个新水平而不牺牲推理（inference）速度的通用调整。我们的实验表明，这些训练秘籍（freebies）可以在精度上增加5％，因此每个人都应该考虑在一定程度上将这些训练秘籍应用于目标检测训练中。

1. Introduction

目前，不管是one-stage还是two-stage，最先进的目标检测的骨干网络都是基于图像分类。

由于模型容量和训练复杂度相对较高，目标检测受到的关注较少，从最近的训练调整研究中获益较少。更糟糕的是，不同的检测网络都是在没有明确初始化、数据预处理和优化分析的情况下，对自己的训练pipielines进行选择性的挑选，导致在采用提升图像分类的最新技术时出现了大量的问题。

本文的工作，重点探讨可以提升常用目标检测网络的性能，而不引入额外的计算成本。第一，探索mixup技术。我们认识到多目标检测任务支持空间保留变换的特殊属性，并因此提出visually coherent image mixup方法。第二，我们探讨了详细的训练流程，包括学习速率调度、权重衰减和同步batchnorm。第三，通过逐步叠加training tweaks训练single stage和multiple stage目标检测网络，来研究training tweaks的有效性。

本文的主要贡献:
1）我们是第一个系统地评估各种目标检测 pipelines 中应用的各种训练启发式方法，为未来的研究提供了有价值的实践指导。
2）我们提出了一种用于训练目标检测网络的visually coherent image mixup方法，该方法被证明在提高模型通用能力方面非常有效。
3）在不改变网络结构和损失函数的情况下，基于现有模型，我们 achieved up to 5% out of 30% absolute average precision。
4）我们扩展了目标检测数据增广领域的研究深度，显著增强了模型泛化能力，有助于减少过度拟合问题。实验还揭示了可以在不同网络结构中一致地提高目标检测性能的良好技术。

2. Related Work

</