原名字:FarSee-Net: Real-Time Semantic Segmentation by Efficient Multi-scale Context Aggregation and Feature Space Super-resolution
下载地址:https://128.84.21.199/pdf/2003.03913.pdf
一、技术路线
语义分割模型区分为前端网络提取特征和后端输出预测结果,前端使用任意成熟的网络模型(FCN,unet等,文中主要采用ResNet-18),后端设计级联的分解式ASPP,称之为CF-ASPP模块。
二、创新点
(1)ASPP空洞卷积转化为F-ASPP
一张尺度为h、w的影像在3*3窗口上进行波段数为Fi到Fo的空洞卷积,运算为h×w×3×3×Fi×Fo,将其进行因式分解为h×w ×Fi ×Fo+h×w ×3×3×Fo。如下图,3*3*256(r=12)表示带有输出通道256的内核大小为3×3。r是原子速率(空洞个数),黄色框t是向上采样因子。例如,上采样因子t = 2的最后一个子像素卷积层将生成具有N个通道(类别)的特征图。 空间大小比以前的特征图大2倍。 然后,每个通道描述相应类别的概率。 类别标签可以由“ argmax”运算符获取。 每个卷积层之后是批处理归一化和Relu非线性激活。
(2)总体后端网络结构
采用多个F-ASPP组合进行特征提取,上采样构成后端网络,各F-ASPP结构输入数据为上一层输出及前端对应层输出特征合成结果。该模块可以有效地执行多尺度上下文聚合,并将其与特征空间超分辨率(SR)学习相结合,以加快生成过程,实现低分辨率影像输入高分辨率标签图输出,且能够直接插入到不同的成熟网络中。
三、精度评价