图像处理之语义分割

语义分割

语义分割的含义

语义分割是在像素级别上的分类，属于同一类的像素都要被归为一类，

如图所示，属于人类的像素归为一类，属于摩托车的像素归为一类，除此之外，属于背景的像素也归为一类。语义分割与实例分割是不同的。如果一张照片中不同的人，实例分割需要把不同的人的像素归为不同的类，相当于是在语义分割的基础上更进一步。

语义分割的研究方法

传统方法

1. TextonForest分割法
2. 基于随机森林分类器分割法

深度学习下的思路

1. ** Patch classification **：这是最初的深度学习方法应用于图像分割中。
   因为全连接层需要固定大小的图像。所以图像是切成块交给深度模型处理的，然后对像素进行分类。
2. 全卷积方法（FCN）：FCN将网络全连接层用卷积取代，因此使任意图像大小的输入都变成可能，而且速度比Patch classification方法快很多。CNN模型用于语义分割还存在一个问题，就是下采样操作（比如，pooling）。pooling操作可以扩大感受野因而能够很好地整合上下文信息（context中文称为语境或者上下文，通俗的理解就是综合了更多的信息来进行决策），对high-level的任务（比如分类），这是很有效的。但同时，由于pooling下采样操作，使得分辨率降低，因此削弱了位置信息，而语义分割中需要score map和原图对齐，因此需要丰富的位置信息。
3. encoder-decoder架构：encoder-decoder是基于FCN的架构。encoder由于pooling逐渐减少空间维度，而decoder逐渐恢复空间维度和细节信息。
4. 空洞卷积：dilated/atrous （空洞卷积）架构，这种结构代替了pooling，一方面它可以保持空间分辨率，另外一方面它由于可以扩大感受野因而可以很好地整合上下文信息
5. 条件随机场：

深度学习下的语义分割

现在的深度学习语义分割模型基本上是基于FCN发展而来的。下图可以概括FCN的延伸方法。图片来自链接