图像分割之Light-Weight RefineNet

论文：Light-Weight RefineNet for Real-Time Semantic Segmentation

Github：https://github.com/DrSleep/light-weight-refinenet

 

BMVC 2018

 

论文贡献：

论文提出了RefineNet 的轻量化版本Light-Weight RefineNet ，针对实时分割任务，将速度从20FPS提升到了55FPS（GPU，512*512输入，Mean IOU 81.1%，PASCAL VOC测试集）

 

网络结构：

(a)RefineNet 的总体网络结构，分为下采样的encoder部分和上采样的decoder部分。网络主要包含4个模块，RCU，CRP，FUSION，CLF。为了轻量化该网络，分别使用RCU-LW，CRP-LW。

FUSION-LW替换了原始网络的RCU，CRP，FUSION。通过后续的实验作者又发现RCU对于网络的精度提升效果微弱，因此将RCU模块也去掉了。

为什么去掉RCU模块，网络精度影响很小，因为

(1)虽然RCU模块中的3*3卷积使得网络具有更大的感受野，但是通过shortcut结构，底层特征和高层特征也可以共享。

(2)CRP模块也可以获得上下文的信息

可以从上图看出，RCU模块对精度提升微弱，而CRP模块对精度提升明显。

 

(b）RCU模块

(c)CRP模块

(d)FUSION模块

(e)RCU-LW模块，在原始结构的基础上增加了1*1卷积，使得网络运算量减少

(f)CRP-LW模块，将原始的3*3卷积换为1*1卷积，在分割任务中，影响很小

(g)FUSION-LW模块，将3*3卷积换成1*1卷积

 

 

参数对比：

基于ResNet101的基础结构的RefineNet，第一个为传统的RefineNet，第二个为带RCU的RefineNet，第三个为不带RCU的RefineNet。可见RefineNet-101-LW相比RefineNet-101将参数量和运算量都大大降低。

 

实验结果：

 

总结：

对于分割任务，可以使用1*1卷积替换3*3卷积来加速，并保证精度。