两篇关于用DL做Semantic Image Segmentation的文章

一、Weakly- and Semi-Supervised Learning of a Deep Convolutional Networkfor Semantic Image Segmentation

这篇文章的主要贡献点在于：

1、 实验证明仅仅利用图像整体的弱标签很难训练出很好的分割模型。

2、 可以利用bounding box 来进行训练，并且得到了较好的结果，这样可以代替用pixel-label训练中的Grund truth

3、 当我们用小量的pixel-level anotatations和大量的图像整体的弱标签来进行半监督学习，其训练结果可以和全部用pixel-level anotatations差不多

4、 利用额外的强弱标签可以进一步提高效果（这一点不是太懂）。

这是用image-level labels来做的，其中通过对图像的标签对于每个像素进行处理，如果该像素的用CNN得到的score map中有该图像标签，则对m位置处的CNN输出做调整并选取其中最大值作为最新标签，然后用M步中的批量梯度下降法得到新的CNN参数（这个步骤和之前用pixel-level做是一样的），不再需要人工来做大量的工作进行像素级的标定。但是这种方法不太准确，所以用像素级的一部分标签加上图像的标签来进行训练。

 

二、Fully Convolutional Networks for Semantic Segmentation

这篇文章感觉很难懂，想了好久最后感觉这个题目的意思是这个网络里面没有全连接层了，而是全部是卷积层。其中基本的思想就是以前的文章都是以一个区域的图像通过CNN得到一个标签，即该区域的分类，现在是要做像素级的分类，这样那种做法就不合适了，最后的输出应该是每个点输入每类的一个概率图，根据概率图和其他信息（semantic image segmentation with deepconvolutional nets and fully connected CRFs）就可以得到分割结果了

大致的核心框架用上面的图来表示，即通过多次pooling后feature图会比较小，后面不再是全连接层，而是通过不同层的上采样来得到最终的prediction maps，从而得到像素级的分类，即完成了分割，当然当3中方式中8x upsampled prediction (FCN-8s)的效果更好，原因是利用了更多的信息，另一方面，semantic image segmentation withdeep convolutional nets and fully connected CRFs利用新的方式（hole算法）来计算dense features，并加入CRF进行多次迭代获得最优分割结果。在结果上是达到了71.6% IOU accuracy。

结果上是比微软的还有上面提出的方法要好。上面都是几篇关于用DL做图像分割的文章，最近也是调研的比较多，新文章看起来也是一知半解，最近确实也有些忙，准备考试啥的，希望下个月能好点。