Abstract
最近引入的Panoptic(全景)分割任务重新唤起了我们社区对统一实例分割(对象类)和语义分割(对象类)任务的兴趣。然而,目前用于这种联合任务的最先进的方法使用单独的和不同的网络,例如和语义分割,而不执行任何共享计算。在这项工作中,我们的目标是在架构级别上统一这些方法,为这两个任务设计一个单一的网络。我们的方法是使用共享特征金字塔网络(FPN)骨干网,赋予掩模R-CNN一种流行的实例分割方法一个语义分割分支。令人惊讶的是,这个简单的基线不仅在实例分割方面仍然有效,而且还产生了一个轻量级的、性能最好的语义分割方法。在这项工作中,我们进行了一个详细的研究,这个最小扩展版本的Mask R-CNN与FPN,我们称之为Panoptic FPN,并表明它是一个稳健和准确的基线为这两个任务。鉴于其有效性和概念的简单性,我们希望我们的方法可以作为一个强大的基线,并帮助未来的研究全光分割。
Introduction
我们的社区已经见证了语义分割的快速发展,其中的任务是为每个像素分配一个类标签(例如,为stuff类),以及最近的实例分割,其中的任务是检测和分割每个对象实例(例如,为thing类)。这些进展得到了简单而强大的基线方法的帮助,包括全卷积网络(FCN)[41]和掩码R-CNN[24]用于语义和实例分割,特别是。这些方法在概念上简单、快速、灵活,为这些领域的后续进展奠定了基础。在这项工作中,我们的目标是提出一个类似的简单,单网络基线的联合要求的全景分割[30],这是一个任务,其中包括语义和实例分割。