NeurIPS 2019 | 中科院、旷视提出DetNAS框架：一种可用于目标检测的Backbone搜索

作者：Liyang

前言

本文将对NeurIPS 会议论文《DetNAS: Backbone Search for Object Detection》进行解读，这篇论文在目标检测领域的神经网络架构搜索（Neural Architecture Search，NAS）方面有所创新。基于one-shot supernet技术，作者提出了一种用于目标检测网络backbone搜索的框架DetNAS。按照典型的检测器训练步骤来训练网络，包括ImageNet预训练和检测器微调。然后，以检测任务为指导，在经过训练的supernet上执行体系架构搜索。实验结果表明，DetNAS在one-stage的RetinaNet和two-stage的FPN等检测器上的效果较好。

 

DetNAS: Backbone Search for Object Detection

论文地址：https://arxiv.org/abs/1903.10979

开源地址：https://github.com/megvii-model/DetNAS

论文作者：Yukang Chen, Tong Yang, Xiangyu Zhang, Gaofeng Meng, Xinyu Xiao, Jian Sun（中国科学院自动化研究所，Megvii旷视科技）

研究现状

1.目标检测 （Object Detection）

随着深度卷积网络的飞速发展，目标检测器已经在效果上取得了很大进步。目标检测器通常包含backbone网络和“head”两部分。 在过去几年，目标检测的许多进步来自“head”的研究，如体系架构，loss和anchor。FPN 【1】发展了一种具有横向连接的自顶向下架构，用于在所有尺度上构建高级语义特征图，从而成为有效的特征提取器。RetinaNet提出了focal loss 【2】来解决类别不平衡的问题，但这会导致早期训练的不稳定。MetaAnchor【3】提出了一种动态anchor生成机制来提高基于anchor的目标检测器的性能。

Backbone在目标检测中非常重要，目标检测器的性能高度依赖于backbone提取的特征。许多目标检测器直接使用为图像分类而设计的网络作为backbone，但这并非最佳选择，因为图像分类专注于图像分类，而目标检测要兼顾每个目标的位置和分类。如ResNet-101在ImageNet分类上的性能优于DetNet-59 【4】，但在目标检测方面不如后者。

2.神经网络架构搜索（Neural Architecture Search）

用于图像分类的NAS技术引起了越来越多的关注。NAS 【5】和NASNet 【6】使用强化学习（RL）顺序确定神经体系架构。此外， AmeobaNet 【7】证明，没有任何控制器的基本进化算法（EA）也可以达到较好的结果，甚至可以超越基于RL的方法。为了节省计算资源，一些研究者提出使用权重共享或单次使用的方法，如ENAS 【8】和DARTS 【9】。SNAS 【10】，Proxyless 【11】等，在某种程度上也属于one-shot NAS。除图像分类外，NAS在语义分割等方面也得到了很好的应用。

在图像分类【12】上，搜索到的网络可能达到甚至超过hand-crafted网络的性能。然而，用于目标检测器中backbone的NAS仍然具有挑战性。典型的检测器训练要求在ImageNet上对backbone网络进行预训练，这会带来两个问题：（1）难以优化：NAS不能用预训练网络的精度来作为监督信号；（2）效率低下：需要首先对每个候选架构进行预训练（例如在ImageN