![da62c5b11496bb5a92b424940d0a1998.png](https://i-blog.csdnimg.cn/blog_migrate/3ef5ca14f6af548e5d91194049643ba3.jpeg)
![3568d9b9e2356a58398c50b04d768636.png](https://i-blog.csdnimg.cn/blog_migrate/903b4d9665a6871aa2d154a32d6fca22.jpeg)
前言
前面介绍了很多目标检测的算法,为了平衡一下,今天介绍一个语义分割算法QAQ。这是来自CVPR 2017的RefineNet,在PSCAL VOC 2012上达到了83.4的mIOU,是一个非常优秀的网络,同时其论文的思想也能对我们做工程做学术给予启发,我们来一起看看吧。对了,说一句题外话,卷积神经网络系列已经更新了5篇,接下来打算更新20篇左右从2012年到现在非常经典的CNN网络,一起来学习CNN呀。这篇论文的地址见附录。
背景
当前流行的CNN如VGG,ResNet等由于池化层和卷积步长的存在,特征图分辨率越来越小,导致损失了一些细节信息,我们在卷积神经网络学习路线(一)| 卷积神经网络的组件以及卷积层是如何在图像中起作用的? 介绍过低层的特征图有丰富的细节信息,而高层特征图则有更加抽象的语义信息。对于分类问题来说,只要高级语义信息足够强,模型就能表现得好。而对于稠密预测如逐像素的语义分割问题来说,除了高级语义特征之外,还需要低层的细节信息。针对这一问题,有很多方法被提出。例如以SegNet结构为典型的编解码结构,使用反卷积来恢复图像分辨率,但却依然很难恢复细节信息。还有Unet为代表的使用跳跃连接来产生高分辨率的预测。以及DeepLab系列使用空洞卷积保持分辨率,增大感受野,但这种做法增加了计算量,并且空洞卷积容易损失一些高层语义信息。
主要贡献
针对上面的背景,RefineNet被提出。论文认为高级语义特征有助于分类识别,而低层语义特征有助于生成清晰,详细的边界。因此作者在Unet的基础上进行魔改,产生了今天要介绍的RefineNet。它的主要贡献是:
- 提出一种多路径精细化的语义分割网络RefineNet。这个网络可以利用多个层次的特征,使得语义分割精度更高。
- RefineNe的使用了大量的残差结构,使得网络梯度不容易发散,训练起来更加容易和高效。
- 提出了一个Chained Residual Pooling模块,可以从一个大的图像区域捕捉背景上下文信息。
网络结构
论文提出的网络结构可以分为两段分别对应于U-Net中的向下和向上两个过程。其中向下的过程以ResNet为基础,向上的过程使用了新提出的RefineNet为基础,并将ResNet中的低层特征和当前RefineNet的特征加以fusion。整体框架如Figure2(c)所示。其中左边的4组特征是从ResNet的4个Block中取出的。值得一提的是,具体用多少个特征,以及用多少个RefineNet级联是可以灵活改变的,论文中也有相关实验。
![1845c190e1d19d123029b4fc96fea4e5.png](https://i-blog.csdnimg.cn/blog_migrate/370880f64211c87dbe50df12c215c20d.jpeg)
RefineNet结构
RefineNet的细节结构如Figure3所示。
![b5b539c5b48251a47dc829c718995433.png](https://i-blog.csdnimg.cn/blog_migrate/6b01e5776506e82b0094ef100a3fad31.jpeg)
RefineNet的结构可以分为3个部分,首先不同尺度的输入特征首先经过2个残差模块的处理,然后将不同尺寸的特征进行融合,当然如果只有一个输入尺度,该模块则可以省去。所有特征均UpSampling到和低层特征分辨率一样的尺寸,然后进行加和,其中采样之前的卷积模块是为了调整不同特征的通道数。最后一个是这篇论文的另外一个创新点,即一个链式的池化模块。其设计的本意是想让侧支上的一系列池化(尺寸比较大,步长为1)来获取背景信息,然后主支上的ReLU以在不显著影响梯度流通的情况下提高后续pooling的性能,同时不让网络的训练对学习率很敏感。 最后网络再经过一个残差模块即得到RefineNet的输出结果。
一张带有Tensor尺寸的结构图
此图来自CSDN的gqixl博主,十分感谢,侵删。原图地址见附录。
![a61e35d8099beed96a90c55b44b9f13d.png](https://i-blog.csdnimg.cn/blog_migrate/68cdbc4c24ac383b2004ab6c0f9984b0.jpeg)
实验结果
论文在很多数据集上做了实验,都取得了当时的SOTA精度。下面仅仅给一下PASCAL VOC 2012的测试结果如Table5所示,其他测试结果请参考原文。
![385a08661403132657d3dda73b73783d.png](https://i-blog.csdnimg.cn/blog_migrate/cacf2030c23ddda68ebeddd3f8cbd823.jpeg)
可以看到RefineNet在PASCAL VOC 2017上取得了83.4的mIOU,证明了该网络的有效性。下面再给一下RefineNet在VOC2012和Cityscapes数据集上的一些可视化结果,如图Figure5和Figure6所示。
![0b5aef9751c7324fd6ef50ea6f74a5d0.png](https://i-blog.csdnimg.cn/blog_migrate/ca807a12af79200d051d70e396a16272.jpeg)
![f52dc02bcaf9ec974923f3cf5a86e63d.png](https://i-blog.csdnimg.cn/blog_migrate/c251a6ac95c16ef9bb56294018f89e7c.jpeg)
附录
论文原文:https://arxiv.org/pdf/1611.06612.pdf 参考文章:https://blog.csdn.net/gqixf/article/details/82911220 Pytorch源码实现:https://github.com/thomasjpfan/pytorch_refinenet
后记
今天为大家介绍了CVPR 2017的RefineNet,希望能为大家做语义分割任务提供一个新的的思路,那么今天就介绍到这里啦。
欢迎关注我的微信公众号GiantPandaCV,期待和你一起交流机器学习,深度学习,图像算法,优化技术,比赛及日常生活等。
![5d48e0350770dfd47e742cf2b984aa1a.png](https://i-blog.csdnimg.cn/blog_migrate/cb2138712d23049813d49ab44ee9e133.jpeg)