FarSee-Net：通过高效的多尺度 上下文聚合和特征空间超分辨率进行实时语义分割

原名字：FarSee-Net: Real-Time Semantic Segmentation by Efficient Multi-scale Context Aggregation and Feature Space Super-resolution

下载地址：https://128.84.21.199/pdf/2003.03913.pdf

一、技术路线

语义分割模型区分为前端网络提取特征和后端输出预测结果，前端使用任意成熟的网络模型（FCN，unet等，文中主要采用ResNet-18），后端设计级联的分解式ASPP，称之为CF-ASPP模块。

二、创新点

（1）ASPP空洞卷积转化为F-ASPP

        一张尺度为h、w的影像在3*3窗口上进行波段数为Fi到Fo的空洞卷积，运算为h×w×3×3×Fi×Fo，将其进行因式分解为h×w ×Fi ×Fo+h×w ×3×3×Fo。如下图，3*3*256（r=12）表示带有输出通道256的内核大小为3×3。r是原子速率（空洞个数），黄色框t是向上采样因子。例如，上采样因子t = 2的最后一个子像素卷积层将生成具有N个通道（类别）的特征图。 空间大小比以前的特征图大2倍。 然后，每个通道描述相应类别的概率。 类别标签可以由“ argmax”运算符获取。 每个卷积层之后是批处理归一化和Relu非线性激活。

 

（2）总体后端网络结构

       采用多个F-ASPP组合进行特征提取，上采样构成后端网络，各F-ASPP结构输入数据为上一层输出及前端对应层输出特征合成结果。该模块可以有效地执行多尺度上下文聚合，并将其与特征空间超分辨率（SR）学习相结合，以加快生成过程，实现低分辨率影像输入高分辨率标签图输出，且能够直接插入到不同的成熟网络中。

三、精度评价