farseenet（实时语义分割网络）

arxiv地址
farseenet是商汤科技和东京大学最近放出的论文，用于实时语义分割网络，提出了一个新的模块（CF-ASPP）和新的训练方法。

motivation

论文肯定了空间金字塔结构结构对网络性能的提升，并且运用到了CF-ASPP模块。
目前的语义分割算法，都是先利用特定的backbone（如resnet101，resnet50）提取特征，再做进一步处理。这些特征输出的特征图的通道数会很多，加大了计算量，无法达到实时分割。文章降低了金字塔池化层中的通道数，以减小计算量。
如何获取高分辨率的mask是目前很多研究的重点，文章提出了一种新的训练方法来提升输出mask，同时用跳级链接的方法在中间层进行上采样。

网络结构

front-end是一个特征提取网络，将最后提取出的特征和中间层的特征传入back-end网络，中间经过SR（超分辨率）操作进行上采样。
在训练过程中，先将输入图片先进行下采样，用低分辩的图片进行训练，另外用高分辨率的label进行监督。

back-end模块的网络结构如图，先经过一个空洞金字塔池化部分，在池化过程中先用1x1的卷积进行降通道处理，再用不同的空洞率的卷积进行卷积，最后concat起来恢复通道数。
中间利用亚像素卷积的方法进行上采样（文中说亚像素卷积的方法与反卷积方法的计算量相同，但是卷积后图像的特征表达能力比反卷积强）。
与特征提取网络的中间层concat起来，再经过另一个金字塔网络，与前面方法相似，然后经过亚像素卷积上采样一次，最后用双线性插值法上采样，得到高分辨率的mask。

结果

文章只在cityscape数据集上做了实验并列出实验结果，还在进一步完善实验结果，但是已经达到了70帧的速度