深度学习之全景分割（Panoptic SegFormer）

我们对全景分割采用的任务格式很简单:图像的每个像素必须分配一个语义标签和一个实例id。具有相同标签和id的像素属于同一对象；对于填充标签，实例id被忽略。可视化见图1d。这种格式以前已经被采用，特别是通过产生非重叠实例分割的方法[18，28，2]。我们用它来完成我们的共同任务，包括东西。

全景分割任务包括语义和实例分割，但引入了新的算法挑战。与语义分割不同，它需要区分单独的对象实例；这对全卷积网络提出了挑战。与实例分段不同，对象分段必须是不重叠的；这对基于区域的方法提出了挑战，这些方法独立地对每个对象进行操作。生成一致的图像分割来解决事物之间的不一致是走向现实世界应用的重要一步。