图像分割“RefineNet-Multi-Path Refinement Networks for High-Resolution Semantic Segmentation”

CNN用于语义分割,主要问题是重复的下采样操作带来的分辨率的下降。RefineNet提出了一个多路径的改进网络,提取下采样过程中所有信息,使用长距离残差连接获得高分辨率的预测。用精细层的特征
,高层的语义信息可以得到改善。另外,论文使用了链式残差池化,可以获取丰富的背景知识。

高层语义特征对获取图像区域的类别标识有帮助,而低层特征对获取边缘、突变有帮助,如何获取中间层的特征还是个开放性问题。论文设计了一个方法获取中间层特征。

相关工作
FCNN:region-proposal based methods
DeepLab-CRF
DeepLab-RNN
FCN:获取中间层特征
Hypercolumn:融合了中间层特征
SegNet,U-Net:skip-connections

背景
ResNet效果好,且有预训练模型,ResNet容易更改用于致密的分割分类任务。用致密预测层替代单标记预测层,输出每个像素的的分类置信度,如下图所示:这里写图片描述
步长为2 ,所以每层分辨率降低,下采样层有两个影响:增加卷积层感受野,使得滤波器获得全局的用于分类的高质量信息;平衡滤波器数目和分辨率。通常最后一层特征图大小是输入图像的1/32。低分辨率的特征图损失了很多信息,特别是低层特征获取的细节信息。DeepLab采用了带孔的卷积解决这个问题,但计算量大:
这里写图片描述

RefineNet
RefineNet的结构可以如下图标识:
这里写图片描述

  1. 多路径改进
    将预训练的ResNet分为4个块,使用包含4个RefineNet单元的4级级联结构,每个结构直接链接到ResNet块的输出以及前一个RefineNet块,RefineNet块可以接受不同ResNet块的输入,可以有很多不同的变形。
    上图中,RefineNet-4只有一个输入,RefineNet-4的输出和ResNet block-3输入到RefineNet-3.RefineNet-3的目标是使用高分辨率的特征改善RefineNet-4输出的低分辨率特征。
  2. RefineNet结构及组成
    RefineNet块的结构如下图所示:
    这里写图片描述
    包含了三个组成部分:
    残差卷积单元
    多尺度融合
    链式残差池化

实验结果
1. 使用 Person-parts与其他方法的对比
这里写图片描述
2. 在CitySpace上的结果
这里写图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值