语义分割综述---一文了解语义分割

语义分割

语义分割方法在处理图像时，具体到像素级别，也就是说，该方法会将图像中每个像素分配到某个对象类别。相关模型要具有像素级的密集预测能力。目前用于语义分割研究的两个最重要数据集是VOC2012和MSCOCO。

除了全连接层结构，在分割问题中很难使用CNN网络的另一个问题是存在池化层。池化层不仅能增大上层卷积核的感受野，而且能聚合背景同时丢弃部分位置信息。然而，语义分割方法需对类别图谱进行精确调整，因此需保留池化层中所舍弃的位置信息。

研究者提出了两个不同形式的结构来解决这个问题：
第一种方法是编码器-解码器(encoder-decoder)结构。其中，编码器使用池化层逐渐缩减输入数据的空间维度，而解码器通过反卷积层等网络层逐步恢复目标的细节和相应的空间维度。从编码器到解码器之间，通常存在直接的信息连接，来帮助解码器更好地恢复目标细节。在这种方法中，一种典型结构为U-Net网络。
第二种方法使用了称作空洞卷积的结构，且去除了池化层结构。

空洞卷积，当比率为1时，即为经典的卷积结构。

条件随机场(Conditional Random Field，CRF)方法通常在后期处理中用于改进分割效果。CRF方法是一种基于底层图像像素强度进行“平滑”分割的图模型，在运行时会将像素强度相似的点标记为同一类别。加入条件随机场方法可以提高1~2%的最终评分值。

接下来，我们会梳理一些代表性论文，来介绍从FCN网络开始的分割结构演变历程。

1．FCN；Fully Convolutional Networks for Semantic Segmentation—2015

2．DeconvNet；Learning Deconvolution Network for Semantic Segmentation—2015

3．U-Net；Convolutional Networks for Biomedical Image Segmentation—2015

4．CRFRNN；Conditional Random Fields as Recurrent Neural Networks—2015

5．SegNet；A Deep Convolutional Encoder-Decoder Architecture for Robust Semantic Pixel-Wise Labelling—2015

6．ParseNet； Looking Wider to See Better—2015

7．ENet； A Deep Neural Network Architecture for Real-Time Semantic Segmentation—2016

8．DeepLabv1； Semantic Image Segmentation With Deep Convolutional Nets and Fully Connected CRFs—2014

9．DeepLabv2；Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs—2016

10．Deeplabv3；Rethinking Atrous Convolution for Semantic Image Segmentation—2017

11．Deeplabv3+；Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation — 2018

12．PSPNet；Pyramid Scene Parsing Network—CVPR2017

13．PixelNet;Representation of the pixels, by the pixels, and for the pixels—2017

14．PixelDCN；Pixel Deconvolutional Networks—CVPR2017

15．ERFNet；Efficient Residual Factorized ConvNet for Real-Time Semantic Segmentation—2017

16．ShuffleSeg: Real-time Semantic Segmentation Network—2018

17．AdaptSegNet：Learning to Adapt Structured Output Space for Semantic Segmentation—2018CVPR

18．R2U-Net；Recurrent Residual Convolutional Neural Network based on U-Net—2018CVVPR

19．Attention U-Net: Learning Where to Look for the Pancreas—2018

20．ShelfNet:ShelfNet for Real-time Semantic Segmentation-----2018

21．LadderNet: Multi-path networks based on U-Net for medical image segmentation—2018

22．BiSeNet: Bilateral Segmentation Network for Real-time Semantic Segmentation–ECCV 2018

23．ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation—ECCV2018

24．DFN；Learning a Discriminative Feature Network for Semantic Segmentation—CVPR2018

。。。。。。未完待续，感谢关注，谢谢