场景解析和语义分割区别_深度学习-语义分割总结

什么是语义分割

对图片的每个像素都做分类。

较为重要的语义分割数据集有：VOC2012 以及 MSCOCO 。

有哪几种方法

传统机器学习方法：如像素级的决策树分类，参考TextonForest 以及 Random Forest based classifiers 。再有就是深度学习方法。更确切地说，是卷积神经网络。

深度学习最初流行的分割方法是，打补丁式的分类方法 ( patch classification ) 。逐像素地抽取周围像素对中心像素进行分类。由于当时的卷积网络末端都使用全连接层 ( full connected layers ) ，所以只能使用这种逐像素的分割方法。

2014年，来自伯克利的 Fully Convolutional Networks(FCN) 卷积网络，去掉了末端的全连接层。随后的语义分割模型基本上都采用了这种结构。除了全连接层，语义分割另一个重要的问题是池化层。池化层能进一步提取抽象特征增加感受域，但是丢弃了像素的位置信息。但是语义分割需要类别标签和原图像对齐，因此需要从新引入像素的位置信息。有两种不同的架构可以解决此像素定位问题。

第一种是编码-译码架构。编码过程通过池化层逐渐减少位置信息、抽取抽象特征；译码过程逐渐恢复位置信息。一般译码与编码间有直接的连接。该类架构中U-net 是最流行的。

第二种架构是膨胀卷积 ( dilated convolutions ) ，抛弃了池化层。使用的卷积核如下图。

条件随机场的后处理 经常用来提高分割的精确度。后处理利用图像的光感强度(可理解为亮度)，将周围强度相近的像素分为同一类。能提高 1-2 个百分点。

文章汇总

FCN 2014年

主要的贡献：

为语义分割引入了 端到端 的全卷积网络，并流行开来

重新利用 ImageNet 的预训练网络用于语义分割

使用 反卷积层 进行上采样

引入跳跃连接来改善上采样粗糙的像素定位

说明：

比较重要的发现是，分类网络中的全连接层可以看作对输入的全域卷积操作，这种转换能使计算更为高效࿰