实例分割、语义分割与全景分割的区别

文档来源： https://wap.sciencenet.cn/blog-3428464-1280762.html

目前的分割任务主要有三种：①像素级别的语义分割；②实例分割；③全景分割
（1）语义分割 (semantic segmentation)

通常意义上的目标分割指的就是语义分割，图像语义分割，简而言之就是对一张图片上的所有像素点进行分类，即对图像中的每个像素都划分出对应的类别，实现像素级别的分类。
举例说明：语义分割（下图左）就是需要区分到图中每一点像素点，而不仅仅是矩形框框住了。但是同一物体的不同实例不需要单独分割出来。对下图左，标注为人，羊，狗，草地。而不需要羊1，羊2，羊3，羊4，羊5等。


图1 (左下)semantic segmentation ; The work segment individual object instances(右下)
（2）实例分割(Instance segmentation)
而类的具体对象，即为实例，那么实例分割不但要进行像素级别的分类，还需在具体的类别基础上区别开不同的实例。
举例说明1：比如说图像有多个人甲、乙、丙，那边他们的语义分割结果都是人，而实例分割结果却是不同的对象，具体如下图所示：

图 2 语义和实例分割区别 **
举例说明2：实例分割（图3右）其实就是目标检测和语义分割**的结合。相对目标检测的边界框，实例分割可精确到物体的边缘；相对语义分割，实例分割需要标注出图上同一物体的不同个体（cube1,cube2,cube3）

图 3 语义分割(左) 实例分割(右)

（3）全景分割(Panoramic segmentation)
全景分割是语义分割和实例分割的结合。跟实例分割不同的是：实例分割只对图像中的object进行检测，并对检测到的object进行分割，而全景分割是对图中的所有物体包括背景都要进行检测和分割。
为了更好的直观说明，图4进行了三种分割的对比展示，如下：

图4 总结对比(https://arxiv.org/pdf/1801.00868.pdf)