轻量级实时语义分割:ICNet

ICNet是2018年ECCV提出来的,是一篇实时轻量化语义分割的论文。

贡献

(1) 提出了一个新颖且独特的图像级联网络用于语义分割,利用了低分辨率语义信息和高分辨率图像的细节
(2) 提出的级联特征融合单元和级联标签引导能够以较低的计算成本逐步恢复和细化分割预测
(3) ICNet速度快,内存占用少
在这里插入图片描述

图像级联网络

网络结构

为了平衡精度和速度,作者提出了image cascade network(ICNet),输入多个分辨率的图像(下采样两倍和四倍)。
低分辨率的图像采用pspnet的网络,称之为heavy cnn(层数多)
中低分辨率图像分支之间参数共享,这能降低执行时间。
高分辨率的图像则采用light CNN(层数少)。
在这里插入图片描述

级联特征融合

不同casecade feature使用论文提出的cascade feature fusion unit(CFF)进行融合。F1其中使用双线性插值法进行上采样,然后使用空洞卷积继续上采样,相比于deconvolution,这样方法只需要少量的卷积核就能获得相同的感受野。而F2则进行了一个projection conv的操作。
在这里插入图片描述

Cascade Label Guidance

为了提高F1、F2的学习能力,作者在F1、F2这里使用了cascade label guidance。使用不同尺寸的groud-true去引导低、中、高分辨率学习。论文采用了加权softmax交叉熵损失,最少化损失函数为:
在这里插入图片描述
在这里插入图片描述
在测试阶段,低分辨率和中分辨率操作被舍弃,只留下高分辨率。这个策略使得梯度优化更加平滑和容易训练。

结构比较与分析

以下abc是常有的框架。
a:Intermediate skip connection,如:FCN和Hypercolumns方法使用了。
b:Encoder-decoder structure,如:SegNet,DeconvNet,UNet,ENet
c:Multi-scale prediction,如:DeepLab-MSC,PSPNet-MSC
其中d是作者提出的框架,为ICNet的一部分。在这个框架上,仅有低分辨率输入使用Heavy CNN进行提取,大量减少了的计算且得到了粗糙的语义预测。更高的分辨率输入用于逐步恢复和细化模糊边界和缺失细节的预测,使用的是Light-weighted CNNs。新引入的cascade-feature fusion unit 和 guidance label 策略也为更加精准提供了帮助。
在这里插入图片描述

结果

在这里插入图片描述

  • 2
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值