DetNAS: Backbone Search for Object Detection论文阅读

@目标检测

DetNAS: Backbone Search for Object Detection论文阅读

Introduction

问题

目标检测性能的提高依赖于：主干网(backbone)的特征提取。（eg：ResNet-101、ResNet-152代替ResNet-50可以大幅提高检测的精确度）

现状：

1.直接使用图片分类的网络作为目标检测的主干网。
2.NAS在在图片分类上效果比较好，运用在目标检测中有难度。

存在问题：

1.使用的主干网可能不是最优的(因为分类和检测关注点不同，eg：ResNet101和ResNet59在检测和分类任务上面表现的性能相反)
2.简单将之前的NAS方法运用在目标检测中不可行。（原因：典型的检测训练流程需要主干网在ImageNet上与训练。导致：a.难以优化b.低效率）

主要工作（NAS-FPN）：

1.搜索FPN，而不是主干网
2.可以运用先前的NAS算法搜索预训练的主干网络。
3.受one-shot方法启发，通过解耦权值训练和架构搜索解决了主干网搜索困难。（大多数的NAS方法以嵌套的方式优化权值和架构，我们解耦至两阶段）

DetNAS步骤

1.在ImageNet预训练one-shot supernet
2.在目标检测数据集上微调one-shot supernet
3.运用进化算法（EA）在训练过的supernet上进行架构搜索

主要贡献总结：

1.首次呈现了可以应用于目标检测主干网搜索的DetNAS
2.引入了强大的搜索空间。通过受限的FLOPs复杂度大大提高了搜索网络的精确度
3.DetNASNet和DetNASNet(3.8)明显优于人工制作的网络

Motivation

NAS搜索过程

最小化validation loss，是一个嵌套优化问题（A：搜索结构范围，w*：做优网络结构a*的权值）
对于目标检测，需要预训练最优wp(a)*是必不可少的，又不能直接用。
将搜索范围编码到一个包含所有的候选结构的超网中，共享公共节点的权值。

DetNAS流程

step1.Supernet pre-training. 采用path-wise manner 确保训练的超网可以反应候选网络的性能，解决one-shot方法权值深度耦合。
step2.Supernet fine-tuning. 仍是path-wise，但装备了检测头、度量标准和数据集。用SyncBN代替常规BN（batch normalization）。
step3.Search on supernet with EA.

DetNAS搜索范围