CVPR 2020｜图网络引导的实时语义分割网络搜索 (GAS)

论文链接：https://arxiv.org/abs/1909.06793

之后代码将会开源：https://github.com/L-Lighter/LightNet

作者：林培文*，孙鹏*，程光亮，谢思锐，李玺，石建萍
编写：林培文，孙鹏
注：本文出自商汤研究院（SenseTime Research）及浙大DCD实验室。原论文发表于CVPR2020，转载需注明作者及出处。

摘要

设计一个轻量级的语义分割分割网络往往需要研究者经过大量实验从而得到一个在精度和速度之间权衡得比较好的网络，该过程往往是费时、费力且要求研究者在分割领域有着较深的见解。本文作者从实时小网络的实际诉求 (精度和速度的极致权衡) 出发 ，构建了一个新的搜索空间，从而更高效的完成小网络的搜索，具体包括：

1、和常见的NAS方法相比，打破Cell共享的搜索方式，让每个Cell独立搜索，因而在搜索过程中能够更加灵活的进行精度和速度的权衡；

2、为方便优化，利用图卷积神经网络构建推理图，作为相邻Cell间的交流机制，从而引导整个搜索过程；

3、将网络的 Latency 纳入考虑，加入到搜索的优化过程中，配合分割损失，能够根据实际需求进行网络的定制化搜索；

一、背景

1.1 Cell共享的NAS方法

常见的NAS方法搜索两种类型的Cell (Normal Cell和Reduction Cell)，然后将搜索到的Cell堆叠形成整个网络，这极大的减小了搜索空间和优化难度，且在理论上也验证对性能不会有太大的影响。然而，实时的小网络需要在精度和速度间进行权衡，我们在实验过程中发现，如果直接使用传统的NAS方法会产生两方面不足: a) 在不添加任何网络速度的约束时，容易搜索到复杂Cell结构 (精度Reward)，堆叠形成的网络会有较高的Latency，无法满足速度需求；b) 当添加Latency约束时， 很容易学习到简单的Cell(倾向于选择简单的operations)，堆叠形成的网络虽然有较高的速度，但精度经常无法满足要求；