[ICLR2020]FasterSeg：基于NAS方法快速实时的语义分割

[ICLR2020]FasterSeg：基于NAS方法快速实时的语义分割

FASTERSEG: SEARCHING FOR FASTER REAL-TIMESEMANTIC SEGMENTATION

论文：https://arxiv.org/pdf/1912.10917.pdf

代码：https://github.com/VITA-Group/FasterSeg

解决的问题：

先前的使用NAS搜索出的语义分割模型推理速度还不够快，且搜索空间有限。如果加入了延迟的限制，搜索出的网络容易出现"崩溃"现象：即模型倾向于低延迟但是准确率也会大打折扣。语义分割要求保留细节和丰富的上下文信息。FasterSeg发现了新的、更广泛的搜索空间，集成了多分辨率分支，为了更好地校准高精度和低延迟目标之间的平衡，提出了一种解耦的、细粒度的延迟正则化方法，解决了模型容易"崩溃"的问题。将FasterSeg扩展为一个共同搜索框架，在同一次运行中同时搜索一个教师和一个学生网络。知识蒸馏进一步提高了学生模型的准确性。FasterSeg不仅取得了sota的准确率，而且在citySpaces数据集上准确率相当的前提下，推理速度快了30%。

简介：

分割模型需要高内存而且延迟高，这通常是由于叠加卷积和聚合多尺度特征，还有不断增加的输入图像分辨率造成的。近些年来语义分割的实时性要求愈加突出，由于NAS方法的出现，可以设计出低延迟高效的分割模型，同时准确率几乎不受影响。尽管Auto-DeepLab引入了延迟约束，在网络级搜索空间优化分割任务也取得不错的效果，但是在设计模型上，没有充分利用之前手工设计模型的优点：例如，用于实时分割的网络通常利用具有适当深度、宽度、操作符和下采样率的多分辨率分支，它们对取得较高的准确率有突出贡献。但是这种灵活性没有在NAS中应用出来，并且之前的NAS没有在高精度与低延迟之间做出权衡。

因此论文从人工设计的高效分割网络出发，设计了FasterSeg，旨在做到速度快、准确率高的效果。论文设计了一个特殊的搜索空间，能够支持不同分辨率的多个分支的优化，而非单一主干网络，这些搜索分支自适应地聚合在一起进行最终预测。为了平衡准确率和延迟指标，使用一种解耦和细粒度的延迟正则化，有助于二者的平衡。此外，FasterSeg可以很容易地扩展为协作搜索，即在一次运行中联合搜索一个复杂的教师网络和一个轻量级的学生网络，而这两个模型是通过特征提取来耦合的，目的是提高学生网络的准确率。

本文的贡献：

设计一种适合实时分割的新型NAS搜索空间，可以灵活地搜索和聚合多分辨率分支

一种新颖的解耦和细粒度的延迟正则化，解决了网络训练"崩溃"的问题。

使用了知识蒸馏，提高了学生网络的准确率。

准确率相当的情况下，速度更快。

相关工作：

ENet采用早期下采样

ICNet在标签指导下使用多分辨率分支的feature map

BiSeNet融合了具有下采样的上下文路径的捷径分支和较小滤波步长的空间路径。

Auto-DeepLab通过搜索cell和网络级下采样率，灵活控制整个网络的空间分辨率的变化。

只是蒸馏利用知识精化提高模型的准确率和紧凑型，加快训练速度

具体实现：<