论文笔记-BANet: Bidirectional Aggregation Network with Occlusion Handling for Panoptic Segmentation

Hello，论文阅读计划的第22篇啦～
22/30

这篇论文来介绍一下全景分割，也是我第一次了解这个课题方向啦。
论文代码：https://github.com/Mooonside/BANet

一、背景介绍

全景分割是计算机视觉中一个新兴的、具有挑战性的问题，它是一个将语义分割(针对背景材料)和实例分割(针对前景实例)统一起来的复合任务。任务的典型解决方案是自上而下的深度学习方式——首先识别实例，然后分配给语义标签。通过这种方式，鲁棒的解决方案产生了两个关键问题:1)如何有效地建模语义分割和实例分割之间的内在交互，以及2)如何鲁棒地处理全景分割的遮挡。

原则上，语义分割和实例分割的任务之间确实存在互补性。语义分割集中于捕捉丰富的像素级信息，用于场景理解。这些信息可以作为有用的上下文线索来丰富实例分割的特征。相反，实例分割产生了对象实例的结构信息(例如，形状)，这增强了语义分割的特征表示的辨别能力。因此，这两个任务之间的相互作用是双向加强和互惠的。然而，先前的工作通常采用单向学习管道来使用来自实例分割的得分图来指导语义分割，导致缺少从语义分割到实例分割的路径。此外，这些实例得分图包含的信息通常是粗粒度的，信道大小非常有限，导致难以编码更细粒度的结构信息用于语义分割。

二、研究内容 & 贡献

鉴于上述问题，我们提出了一个双向聚合网络(双向聚合网络)，称为BANet，用于全景分割，以在特征