paper
keyPoint
- 概念:
- things - 可数的 objects (countable obects),如 people, animals, tools 等。
- stuff - 相同或相似纹理或材料的不规则区域,如 grass,sky,road 等的关注较少。
- 新的任务场景 - 全景分割 Panoptic Segmentation(PS)
- 全景(panoptic) - 对视野内所有物体进行描述”including everything visible in one view”。
- 全景分割 - 图片内的每个像素都必须分配 semantic label 和 instance id. 如 Figure 1d。
相同 label 和相同 id 的像素属于相同 object;忽略 stuff labels 的 instance id。
- 全景分割与实例分割,语义分割的不同:
- 对比语义分割,全景分割需要区分不同的 object instances;对于 FCN-based 方法具有挑战性。
- 对比实例分割,全景分割必须是非重叠的(non-overlapping);对于 region-based 方法具有挑战性。
- 全景分割需要同时识别 stuff 和 things。
与语义分割区别
- 相同之处:
- 均需要对图像的每个像素设定 semantic label。
- 如果 groundtruth 未指定 instances 信息,或者所有的 categories 都是 stuff,二者相同。
- 不同之处:
- 当有 thing categories 时,图片中有多个 instances 时,则二者有区别。
与实例分割区别
- 实例分割 - 对图片中的每个 object 进行分割,允许 objects 重叠(overlapping);
- 全景分割 - 图片每个像素只有一个 semantic label 和 一个 instance id 不允许重叠。
Confidence scores
- 类似于语义分割,而不同于实例分割,全景分割不需要每个 segment 的confidence scores。
参考:https://blog.csdn.net/zziahgf/article/details/79063398