轻量级实时语义分割：ICNet

ICNet是2018年ECCV提出来的，是一篇实时轻量化语义分割的论文。

贡献

(1) 提出了一个新颖且独特的图像级联网络用于语义分割，利用了低分辨率语义信息和高分辨率图像的细节
(2) 提出的级联特征融合单元和级联标签引导能够以较低的计算成本逐步恢复和细化分割预测
(3) ICNet速度快，内存占用少

图像级联网络

网络结构

为了平衡精度和速度，作者提出了image cascade network（ICNet），输入多个分辨率的图像（下采样两倍和四倍）。
低分辨率的图像采用pspnet的网络，称之为heavy cnn（层数多）
中低分辨率图像分支之间参数共享，这能降低执行时间。
高分辨率的图像则采用light CNN（层数少）。

级联特征融合

不同casecade feature使用论文提出的cascade feature fusion unit（CFF）进行融合。F1其中使用双线性插值法进行上采样，然后使用空洞卷积继续上采样，相比于deconvolution，这样方法只需要少量的卷积核就能获得相同的感受野。而F2则进行了一个projection conv的操作。

Cascade Label Guidance

为了提高F1、F2的学习能力，作者在F1、F2这里使用了cascade label guidance。使用不同尺寸的groud-true去引导低、中、高分辨率学习。论文采用了加权softmax交叉熵损失，最少化损失函数为：


在测试阶段，低分辨率和中分辨率操作被舍弃，只留下高分辨率。这个策略使得梯度优化更加平滑和容易训练。

结构比较与分析

以下abc是常有的框架。
a：Intermediate skip connection，如：FCN和Hypercolumns方法使用了。
b：Encoder-decoder structure，如：SegNet，DeconvNet，UNet，ENet
c：Multi-scale prediction，如：DeepLab-MSC，PSPNet-MSC
其中d是作者提出的框架，为ICNet的一部分。在这个框架上，仅有低分辨率输入使用Heavy CNN进行提取，大量减少了的计算且得到了粗糙的语义预测。更高的分辨率输入用于逐步恢复和细化模糊边界和缺失细节的预测，使用的是Light-weighted CNNs。新引入的cascade-feature fusion unit 和 guidance label 策略也为更加精准提供了帮助。

结果