AUTO-DeepLab：NAS在语义分割上的里程碑之作

AUTO-DeepLab：

NAS在语义分割上的里程碑之作

Population Based Augmentation:Efficient Learning of Augmentation Policy Schedules

论文：https://arxiv.org/pdf/1901.02985.pdf

解决的问题

近些年来，NAS在图像分类领域取得了长足的进步，但在语义分割领域还是空白的存在，本文是NAS在语义分割领域的开篇之作。现有的NAS往往侧重寻找可重复的cell的结构，人工设计控制图片分辨率变化的外部网络结构。这样做虽然简化了搜索空间，但是对于密集的图像预测而言，在网络层级上的结构变化太多了。论文提出了在cell级结构的基础上，对网络结构搜索，形成一个分层结构的搜索空间。最终在VOC2012等数据集上获得了SOTA的表现。

论文地址：

https://arxiv.org/pdf/1901.02985.pdf

简介：

神经网络在处理各项任务上都取得了长足的进展，尽管更好的优化器和归一化操作有很重要的作用，但许多进展来自于神经网络结构的设计。近些年来，NAS在大规模图像分类任务中取得的成效已经超过人工设计的网络结构。然而，图像分类不应该是NAS的终点，为此本文研究了NAS在语义分割方面的神经网络结构搜索。

然而，单单移植图像分类的思想到语义分割中是远远不够的。因为图像分类领域，NAS把低分辨率图片上学到的东西迁移到高分辨率的图片上，但是最佳的语义分割结构必须采用高分辨率图像，这就需要我们做到以下两点：(1)一个更松弛和通用的搜索空间用于捕获高分辨率图像带来的网络结构的变化。(2)一个更高效的网络结构以应对高分辨率带来的巨大计算量。

作者注意到，主流的CNN设计遵循两层设计结构：即外层网络控制分辨率，内层网络控制特定层级的计算。目前的NAS也遵循这种设计，但NAS只搜索内部的cell，但外部的网络是人工设计的。但是对密集图像的预测而言，这样有限的搜索空间是有问题的：密集图像对空间分辨率的变化非常敏感。因此，本文提出了一种网格状的网络级搜索空间，扩大了常用的cell级搜索空间，形成了一个层次结构的搜索空间。本文的目标是共同学习、结合可重复cell结构和网络结构，用于语义图像分割。

在网络结构搜索使用的方法中，强化学习和进化算法存在密集计算型的问题，对语义分割可能不适用。本文从NAS的可