图像语义分析学习（一）：图像语义分割的概念与原理以及常用的方法

1图像语义分割的概念

1.1图像语义分割的概念与原理

图像语义分割可以说是图像理解的基石性技术，在自动驾驶系统（具体为街景识别与理解）、无人机应用（着陆点判断）以及穿戴式设备应用中举足轻重。我们都知道，图像是由许多像素（Pixel）组成，而「语义分割」顾名思义就是将像素按照图像中表达语义含义的不同进行分组（Grouping）／分割（Segmentation）。

图像语义分割的意思就是机器自动分割并识别出图像中的内容，比如给出一个人骑摩托车的照片，机器判断后应当能够生成右侧图，红色标注为人，绿色是车（黑色表示back ground）。

2目前常用的算法

2.1前 DL 时代的语义分割

从最简单的像素级别“阈值法”（Thresholding methods）、基于像素聚类的分割方法（Clustering-based segmentation methods）到“图划分”的分割方法（Graph partitioning segmentation methods），在深度学习（Deep learning, DL）“一统江湖”之前，图像语义分割方面的工作可谓“百花齐放”。在此，我们仅以“Normalized cut” [1]和“Grab cut” [2]这两个基于图划分的经典分割方法为例，介绍一下前DL时代语义分割方面的研究。

2.1.1Normalized Cut图像分割

在Deeplearning技术快速发展之前，就已经有了很多做图像分割的技术，其中比较著名的是一种叫做“Normalized cut”的图划分方法，简称“ N-cut ”。

Normalized cut （N-cut）方法是基于图划分（Graph partitioning）的语义分割方法中最著名的方法之一，于 2000 年 Jianbo Shi 和 Jitendra Malik 发表于相关领域顶级期刊 TPAMI。通常，传统基于图划分的语义分割方法都是将图像抽象为图（Graph）的形式 G=（V，E） （V 为图节点，E 为图的边），然后借助图理论（Graph theory）中的理论和算法进行图像的语义分割。常用的方法为经典的最小割算法（Min-cut algorithm）。不过，在边的权重计算时，经典 min-cut 算法只考虑了局部信息。如下图所示，以二分图为例（将 G 分为不相交的 , 两部分），若只考虑局部信息，那么分离出一个点显然是一个 min-cut，因此图划分的结果便是类似 或 这样离群点，而从全局来看，实际想分成的组却是左右两大部分。

针对这一情形，N-cut 则提出了一种考虑全局信息的方法来进行图划分（Graph partitioning），即，将两个分割部分 A,B , 与全图节点的连接权重（assoc(A,V) 和 assoc(B,V)）考虑进去：

如此一来，在离群点划分中，中的某一项会接近 1，而这样的图划分显然不能使得是一个较小的值，故