#今日论文推荐#ICML 2022 | 阿里达摩院灵瞳实验室：基于最大熵原理的目标检测搜索

本文解读我们 ICML 2022 上发表的论文。这篇文章提出一种基于最大熵原理的目标检测搜索方法：MAE-Det。该方法通过计算最大特征的最大熵来代表网络的表达能力，代替训练网络来评估模型的最后性能，同时我们设计了多级维度的最大熵来适配检测任务的不同尺度下的表达能力。Training-free 的策略将我们的搜索成本降低接近零，在相同的 FLOPs 预算下，MAE-Det 可以为目标检测设计更好的特征提取器。
在仅仅一天的 GPU 全自动设计，MAE-DET 在多个检测基准数据集上刷新了检测主干网络的 SOTA 性能。与 ResNet-50 主干相比，在使用相同数量的 FLOP 和参数下，MAE-DET 在 mAP 中的性能提高了 +2.0%；在相同的 mAP 下，在 NVIDIA V100 上的推理速度提升 1.54 倍。

在目标检测中，作为特征提取的主干网络消耗的推理成本占据总成本的一半以上。最近的研究试图通过借助神经结构搜索（NAS）来优化主干结构，从而降低这一块成本。然而，现有的 NAS 目标检测方法需要数百到数千个 GPU 小时的搜索，这使得它们在快节奏的研发中很不实用。

DetNAS 使用 one-shot 的方法构建一个 SuperNet，从 SuperNet 中采样小的网络在数据集中评估，需要 68 个 GPU days 搜索出最佳的网络；SP-NAS 使用串并行的多层结构，通过进化算法随机迭代 block 进行筛选，可以在 26 个 GPU days 获得最佳的网络；SpineNet 将 backbone 的搜索和 FPN 的搜索结合在一起，搜索不同分辨率下的特征的排列组合，使用 100 块 TPUv3 最后获得搜索的网络。
虽然这些方法搜索的主干网络性能也超过 R50 的 baseline，但是 Training-based 的策略极大地消耗 GPU 资源，需要消耗几十天的 GPU 资源，而且只能用于较少迭代的网络的数量。

论文题目：MAE-DET: Revisiting Maximum Entropy Principle in Zero-Shot NAS for Efficient Object Detection
详细解读：https://www.aminer.cn/research_report/6304ca727cb68b460f0a20c7https://www.aminer.cn/research_report/6304ca727cb68b460f0a20c7
AMiner链接：https://www.aminer.cn/?f=cs