超像素、语义分割、实例分割、全景分割

图像分割（Image segmentation）就是根据某些规则把图像中的像素分成不同的部分（打上不同的标签）。

1. 超像素（superpixels）

超像素并不是在普通的像素基础上继续像微观细分，恰恰相反的是，**超像素是一系列像素的集合，这些像素具有类似的颜色、纹理等特征，距离也比较近。**用超像素对一张图片进行分割的结果见下图，其中每个白色线条区域内的像素集合就是一个超像素。需要注意的是，超像素很可能把同一个物体的不同部分分成多个超像素。

其中超像素中比较常用的一种方法是SLIC（simple linear iterative clustering），该算法是将彩色图像转化为CIELAB颜色空间和XY坐标下的5维特征向量，然后对5维特征向量构造距离度量标准，对图像像素进行局部聚类的过程。如下图：
可见，超像素就是根据像素颜色、纹理、空间相似度进行聚类。

2. 图像分类（image classification）

识别图像中存在的内容，如下图，有人（person）、树（tree）、草地（grass）、天空（sky）

3. 目标检测（object detection）

识别图像中存在的内容和检测其位置，如下图，以识别和检测人（person）为例

4. 语义分割（semantic segmentation）

对图像中的每个像素打上类别标签，如下图，把图像分为人（红色）、树木（深绿）、草地（浅绿）、天空（蓝色）标签

5. 实例分割（instance segmentation）

目标检测和语义分割的结合，在图像中将目标检测出来（目标检测），然后对每个像素打上标签（语义分割）。对比上图、下图，如以人（person）为目标，语义分割不区分属于相同类别的不同实例（所有人都标为红色），实例分割区分同类的不同实例（使用不同颜色区分不同的人）

6. 全景分割（panoptic segmentation）

语义分割和实例分割的结合，即要对所有目标都检测出来，又要区分出同个类别中的不同实例。对比上图、下图，实例分割只对图像中的目标（如上图中的人）进行检测和按像素分割，区分不同实例（使用不同颜色），而全景分割是对图中的所有物体包括背景都要进行检测和分割，区分不同实例（使用不同颜色）