CVPR系列（二）—— 双图层实例分割，大幅提升遮挡处理性能

01 摘要

由于物体的真实轮廓和遮挡边界之间通常没有区别，对高度重叠的对象进行分割是非常具有挑战性的。与之前的自顶向下的实例分割方法不同，本文提出遮挡感知下的双图层实例分割网络BCNet，将图像中的感兴趣区域（Region of Interest，RoI）建模为两个重叠图层，其中顶部图层检测遮挡对象，而底图层推理被部分遮挡的目标物体。双图层结构的显式建模自然地将遮挡和被遮挡物体的边界解耦，并在Mask预测的同时考虑遮挡关系的相互影响。作者在具有不同主干和网络层选择的One-stage和Two-stage目标检测器上验证了双层解耦的效果，显著改善了现有图像实例分割模型在处理复杂遮挡物体的表现，并在COCO和KINS数据集上均取得总体性能的大幅提升。

02 背景

实例分割（Instance Segmentation）是图像及视频场景理解的基础任务，该任务将物体检测与语义分割有机结合，不仅需要预测出输入图像的每一个像素点是否属于物体，还需将不同的物体所包含的像素点区分开。目前，实例分割技术已经大规模地应用在短视频编辑、视频会议、医学影像、自动驾驶等领域中, 下图展示了在自动驾驶场景下其对周边车辆的位置感知：

自动驾驶 - 车辆识别与感知

03 问题

以Mask R-CNN为代表的实例分割方法通常遵循先检测再分割（Detect-then-segment）的范例，即先获取感兴趣目标检测框，然后对区域内的像素进行Mask预测，在COCO数据集取得了领先性能并在工业界得到广泛应用。我们注意到大多数后续改进算法如PANet、HTC、BlendMask、CenterMask等均着重于设计更好的网络骨干（Backbone）、高低层特征的融合机制或级联结构（Cascade Structure），而忽视了掩膜预测分支（Mask Regression Head）的作用。同时，如图1所示的重叠人群，大面积的实例分割错误都是由于同一感兴趣区域（RoI）中包含的重叠物体混淆了不同物体的真实轮廓，特别是当遮挡和被遮挡目标都属于相同类别或纹理颜色相似。