中head函数_2019 NAS-FCOS（搜索FPN+head）目标检测算法阅读笔记

背景

《NAS-FCOS: Fast Neural Architecture Search for Object Detectio》是刚在arxiv挂出的paper，其作者依然是之前提出FCOS（2019 CVPR）的沈春华团队（CV界的大佬团队了）。遗憾的是论文暂时没有开放源码，也没有给出搜索head的具体结构。本篇论文的优势在于相比谷歌的NAS-FPN（2019 CVPR），搜索时间有较大的优势，这使得复现的难度大大降低。

目标检测领域继特征融合、anchor-free后，又迎来了一个新的热点，NAS搜索检测框架，目前已经有DetNAS、NAS-FPN两篇论文了。

论文地址：

https://arxiv.org/pdf/1906.04423​arxiv.org

一、研究动机

NAS已经在分类任务上取得了极大的成功，但是在检测任务的应用却相当少（难点主要还是在于搜索空间巨大，评估的代价巨大）。本篇论文结合了当下的热点anchor-free的方法FCOS，搜索特征融合结构和head，进一步提升FCOS的性能。

二、具体方法

FCOS的整体框架如图所示，NAS主要搜索的是FPN和head部分。

其实整体框架和RetinaNet没区别，NAS-FPN是在RetinaNet上做的。此处在FCOS上搜索主要是因为FCOS的训练时间更短，显存需求更少（anchor数目少，省去了大量计算IoU的过程）。（当然也有利于推广FCOS的工作，毕竟是同一个团队。）

1）FPN搜索

其实这部分相比NAS-FPN没有太大创新，搜索空间上可能不大相同：

可以看到，搜索空间中加入了deformable卷积，搜索出来的基本都是这个这个op（参照deformable系列的文章，可变形卷积相比普通卷积，优势还是很大的）。作者提到，以后会加入可分离的deformable卷积。

其他过程和NAS-FPN基本是一致的，简单来说就是，建立一个候选特征池，初始的特征池是C3，C4，C5，选择两个特征进行组合，输出的特征会再放入候选特征池，重复以上过程。

2）head搜索

作者在此处有将head分成两个部分，不共享的权重和共享权重，前者实际可以合并到特征融合中，后者可以类比RetinaNet中不同尺度权重共享的部分。

不共享部分：

如图所示，在一个确定了最长head中进行搜索，实线是一个搜索的结果，过程和FPN类似。

共享部分：

从论文描述来看，对于每一个尺度的特征而言，可以选择共享权重，也可以建立的权重。

3）搜索技巧

为了更好的评估搜索的网络，在前期没有采用AP值，而是采用损失函数，主要目的还是想要在更少的epoch下评估网络的优劣。

FCOS损失函数如下：

三、实验结果

1）搜索结构：

FPN如下：

基本上都是deformable卷积。

head的搜索结果作者没有给出。

2）性能对比

以R50的结果来看，NAS-FCOS相比FPN-FCOS计算量增加了30G，性能提升了1.5个点，但是这其中有部分是deformable卷积带来的。相比Deformable-FPN-FCOS就只有1个点的提升。

四、总结分析

优点：NAS在检测上的应用，期待未来能够直接在大数据集（COCO）上进行搜索，结果肯定会更好。

缺点：相比NAS-FPN，没有太大的创新点，性能提升去除deformable卷积的影响，涨点相对不是很明显，最后，没有给出搜索的head结构，特别是共享权重的部分。