文章解析整理：《十分钟看懂图像语义分割技术》

本文仅是博主自己学习用来加深印象和留存整理，对该内容有兴趣请去阅读原文

原文地址：
https://www.leiphone.com/news/201705/YbRHBVIjhqVBP0X5.html

实际一点的应用，如果扫地机器人能够绕开你丢在地上的臭袜子而扫走旁边的纸屑，就会方便很多。
图像语义分割是AI和机器视觉技术中关于图像理解的重要一环。对无人驾驶来说很重要。

含义：语义分割就是及其自动分割并识别图像中的内容，所以图像分割对图像理解的意义，好比读书先断句。

传统的一个图像分割技术是”N-cut”，通过计算像素和像素之间的关系权重来综合考虑，根据给出的阈值，将图像一分为二。这种并不准确。

一种增强的办法是增加了人机交互，在分割中，需要人工干预参与完成，这种叫做Grab cut，PS中就用了这种技术。其实就是认为的先缩小一个范围，然后默认范围中部是期望的，进行计算分割。

但是同样不够准确，对前景和背景颜色接近的部分，很难做到精准。
改进的办法就是再加人工干预，在难以区分的地方进行标注，再次计算。

如此多的人工干预，是智能时代所不能忍的。

深度学习

CNN输入的是图像，输出是一个结果，或者说是一个值，一个概率值。
FCNN（全卷积神经网络）所追求的是，输入的是一张图片，输出也是一张图片，学习像素到像素的映射。
CNN 网络中的后三层，都是一维的向量，计算方式不再采用卷积，所以丢失了二维信息，而 FCN 网络中，将这三层全部转化为 1*1 的卷积核所对应等同向量长度的多通道卷积层，使后三层也全部采用卷积计算，整个模型中，全部都是卷积层，没有向量，所以称为 “全卷积”。

所以CNN的识别是图像级的，FCN的识别是像素级的。
CNN 最终只输出一个结果：“这个图上是个啥”，但是 FCN 不同，FCN 是像素级别的识别，也就是输入有多少像素，输出就要多少像素，像素之间完全映射，并且在输出图像上有信息标注，指明每一个像素可能是什么物体 / 类别。
因此要对之前卷积池化的图像进行反卷积。将图像扩充至近似原始大小。
较浅的卷积层（靠前的）的感受域比较小，学习感知细节部分的能力强，较深的隐藏层 (靠后的)，感受域相对较大，适合学习较为整体的、相对更宏观一些的特征。

FCN很厉害，但对精度、细节还是有一些问题。

一种新的卷积计算方式，“带hole”的卷积，也就是使用一种“疏松的卷积核”来计算，以此取代池化的处理。池化操作能够减少计算量，同时也能防止计算结果拟合。“疏松的卷积核”可以增加感受阈，弥补不池化的精度。
这种带洞的卷积方式：叫做Dilated Convolutions

a 为原始卷积核计算时覆盖的感受域，b 为当卷积核覆盖的元素间距离增大的情况，不再在连续的空间内去做卷积，跳着做，当这个距离增加的越大时，单次计算覆盖的感受域面积越大
那么结果 A 对应的输入是 135，结果 B 对应的输入是 246，结果 C 对应的输入是 357，同样输出 ABC 三个结果，在原始图像上取的像素点的长度就多了。

这是水平 X 轴方向上的扩展，在 Y 轴上也会有同样的扩展，感受域在没有增加计算（相对于池化操作后）的情况下增大了，并且保留了足够多的细节信息，对图像还原后的精度有明显的提升。

语义分割的另一个问题是像素与像素之间的逻辑关系，要根据物理意义进行判断在输出的标注里这些结果是否合法。
“条件随机场”（CRF）是一种常用的作为输出结果的优化后处理手段。类似技术还有马尔科夫随机场（MRF）和高斯条件随机场（G-CRF）
这么说太抽象，举个简单的例子，“天空”和 “鸟” 这样的像素在物理空间是相邻的概率，应该要比 “天空” 和 “鱼” 这样像素相邻的概率大，那么天空的边缘就更应该判断为鸟而不是鱼（从概率的角度）。

通过对这个能量函数优化求解，把明显不符合事实识别判断剔除，替换成合理的解释，得到对 FCN 的图像语义预测结果的优化，生成最终的语义分割结果。