【ICML2022】LightNAS系列解读之一：基于最大熵原理的目标检测搜索方法MAE-Det

本文解读我们ICML2022上发表的论文《MAE-DET: Revisiting Maximum Entropy Principle in Zero-Shot NAS for Efficient Object Detection》。这篇文章提出一种基于最大熵原理的目标检测搜索方法：MAE-Det。该方法通过计算最大特征的最大熵来代表网络的表达能力，代替训练网络来评估模型的最后性能，同时我们设计了多级维度的最大熵来适配检测任务的不同尺度下的表达能力。Training-free的策略将我们的搜索成本降低接近零，在相同的FLOPs预算下，MAE-Det可以为目标检测设计更好的特征提取器。在仅仅一天的GPU全自动设计，MAE-DET在多个检测基准数据集上刷新了检测主干网络的SOTA性能。与ResNet-50主干相比，在使用相同数量的FLOP和参数下，MAE-DET在mAP中的性能提高了+2.0%；在相同的mAP下，在NVIDIA V100上的推理速度提升1.54倍。

论文链接：https://arxiv.org/abs/2111.13336

代码链接：https://github.com/alibaba/lightweight-neural-architecture-search

一、前言

在目标检测中，作为特征提取的主干网络消耗的推理成本占据总成本的一半以上。最近的研究试图通过借助神经结构搜索（NAS）来优化主干结构，从而降低这一块成本。然而，现有的NAS目标检测方法需要数百到数千个GPU小时的搜索，这使得它们在快节奏的研发中很不实用。