RGPNET: 复杂环境下实时通用语义分割网络

原文及链接：RGPNET: A REAL-TIME GENERAL PURPOSE SEMANTIC SEGMENTATION

https://arxiv.org/abs/1912.01394

一、方法简介

RGPNet由轻型非对称编码器-解码器和适配器组成。适配器有助于从编码器和解码器之间的多层分布式表示中保留和完善抽象概念。它还有助于从较深层到较浅层的梯度流动。

 

二、创新点及小技巧

1、创新点

（1）RGPNet，在多尺度特征融合中将解码器深层特征上采样与同层特征结合改为深层特征上采样、浅层特征下采样与同层特征结合。下图+号部分即表示该进程，文章中称其为适配器（转换器），连接后减少编码器模块输出通道数量并将其传输到下一级适配器（转换器）。

（2）针对带标签松弛的渐进式调整：（本文3.2部分，暂未理解）

渐进式调整大小是分类中常用的一种减少训练时间的技术。 训练从较小的图像尺寸开始，然后逐渐增大尺寸，直到使用原始图像尺寸进行训练的最后阶段为止。论文采取了最大化像素周围区域相似度分布，而不是单个像素级别的标签最大可能化，针对边界类别，提出了边界损失函数。

（3）优势

a、Adaptor（适配器）聚合来自不同上下文和空间级别的特征。

b、通过引入较短的路径，有助于梯度从较深的层流向较浅的层。

c、Adaptor允许使用轻量解码器的不对称设计，这将减少卷积层，进一步增强梯度流。因此，Adaptor使网络适合于实时应用，因为它在保留空间信息的同时提供了丰富的语义信息。

 

2、小技巧：空间多尺度特征融合方法

 

（a）采用空洞卷积的形式，在基于上下文的网络中，级联或并行使用具有多个扩张率的扩张卷积来捕获多尺度上下文。

（b）在编码器-解码器网络中，编码器提取高级语义含义的特征并连接到解码器使编码器学习到的功能更致密。

（c）在基于注意力的网络中，每个位置的特征由所有位置的特征的加权总和选择性地聚合。 这可以跨渠道或空间维度完成。

（d）采用多分支网络在多个分辨率级别上组合语义分割结果。 较低分辨率的分支产生具有较低分辨率的更深的特征，而较高分辨率的分支则学习空间细节。

 

三、实验精度及效率

多种网络在Mapillary Vistas数据集上的测试结果：

 

 

几种网络在Mapillary Vistas数据集上的性能对比：

在CamVid数据集上的性能对比：

RGPNet使用TensorRT在GTX2080Ti和Xavier上速度对比：

综合速度和准确率以及实际部署下的性能，RGPNet都非常具有竞争力。