论文阅读笔记：图像分割方法deeplab以及Hole算法解析

最新推荐文章于 2024-05-03 14:38:54 发布

置顶

tangwei2014

最新推荐文章于 2024-05-03 14:38:54 发布

阅读量3.1w

点赞数 15

分类专栏：论文阅读笔记深度学习论文笔记文章标签：图像分割 deeplab hole-算法 FCN

本文链接：https://blog.csdn.net/tangwei2014/article/details/50453334

版权

好久没搬砖了，刚好元旦放假，跑实验的同时，满足一下自己搬砖的欲望^_^。

尊重原创，转载请注明：http://blog.csdn.net/tangwei2014

deeplab发表在ICLR 2015上。论文下载地址：Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFS.

deeplab方法概述
deeplab方法分为两步走，第一步仍然采用了FCN得到 coarse score map并插值到原图像大小，然后第二步借用fully connected CRF对从FCN得到的分割结果进行细节上的refine。(有关FCN的内容介绍，可以参考我的前面得一篇博客：http://blog.csdn.net/tangwei2014/article/details/46882257)
下面这张图很清楚地展示了整个结构：

然后这张图展示了CRF处理前后的效果对比，可以看出用了CRF以后，细节确实改善了很多：
deeplab对FCN更加优雅的处理方式
在第一步中，deeplab仍然采用了FCN来得到score map,并且也是在VGG网络上进行fine-tuning。但是在得到score map的处理方式上，要比原FCN处理的优雅很多。
还记得CVPR 2015的FCN中是怎么得到一个更加dense的score map的吗？是一张500x500的输入图像，直接在第一个卷积层上conv1_1来了一个100的大padding。最终在fc7层勉强得到一个16x16的score map。虽然处理上稍显粗糙，但是毕竟人家是第一次将图像分割在CNN上搞成end-to-end，并且在当时performance是state-of-the-art，也很理解。
deeplab摒弃了这种做法，取而代之的是对VGG的网络结构上做了小改动：将VGG网络的pool4和pool5层的stride由原来的2改为了1。就是这样一个改动，使得vgg网络总的stride由原来的32变成8，进而使得在输入图像为514x514，正常的padding时，fc7能得到67x67的score map, 要比FCN确实要dense很多很多。
但是这种改变网络结果的做法也带来了一个问题： stride改变以后，如果想继续利用vgg model进行fine tuning，会导致后面filter作用的区域发生改变，换句话说就是感受野发生变化。这个问题在下图(a) (b)中通过花括号体现出来了:
Hole算法
于是乎，作者想出了一招，来解决两个看似有点矛盾的问题：
既想利用已经训练好的模型进行fine-tuning，又想改变网络结构得到更加dense的score map.
这个解决办法就是采用Hole算法。如下图(a) (b)所示，在以往