UPSNet: A Unified Panoptic Segmentation Network 论文阅读

论文链接：https://arxiv.org/abs/1901.03784?context=cs.CV

简介

文章提出UPSNet，一个统一的全景分割网络。以ResNet做基干，首先设计了一个基于可变形卷积的语义分割头和一个MaskR-CNN风格的实例分割头，同时解决了这两个子任务。文章还提出了parameter-free全景分割头，它应用了来自前两个分支的得分，并将特征扩展从而能够预测一个额外的未知类，这个未知类能更好地解决语义分割和实力分割之间的冲突。除此之外，它还处理了变化的实例数目带来的挑战，并实现了端到端。该网络在Cityscapes和COCO数据集上都进行了评估，达到了当时最优，并且预测速度很快。

一、 引言

语义分割和实力分割有相同之处，因此设计一个统一的表征是有益的，但是由于传统的语义分割和实力分割的实现结构差别很大，前者是基于fcn，后者则是普遍基于区域提议，因此，实现统一很难。

为了利用语义分割和实力分割之间的互补性，并且将分割更多的利用到实际应用中，文章[1]中统一了二者任务并提出了所谓的全景分割。其实在深度学习广泛应用之前，也已经有雷同全景分割的任务被研究，如图像解析[2]，场景解析[2]，全局场景理解[3]。

与之前使用独立的两个分支来完成全景分割和实例分割的方法[1][4]不同，文章使用了统一的基干网络，并在该基干上搭建两个分支同时完成两个任务。文章语义分支基于可变形卷积[5]搭建，使用了来自FPN[6]的多层多规模特征做输入，实例分支同Mask R-CNN[7]的设计,实验证明使用这两个轻量级头部与使用两个单独的网络达到的效果相当。更重要的是，文章还搭建了全景分割头，通过像素级的分类预测最终的全景分割图，其中的类别数目随着不同的图像有所改变，它利用来自上面两个分支的得分，并加入一个新的通道，该通道对应着一个额外的未知类，这能更好地解决语义分割和实例分割之间的矛盾。文章的parameter-free全景分割头是轻量级的，可以跟各种基干网络搭配使用。实现了端到端。

二、 相关工作

语义分割
由于上下文环境对语义分割的重要性，出现了空洞卷积[8][9]，它带来了更大的感受野，且并无参数负担。金字塔场景解析网络（PSPNet）[10]就在其基干中使用了空洞卷积，它的实时应用变体[11]更是被广泛应用到实际应用中。基于FPN和PSPNet，一个多任务的架构在文章[12]中提出，并十分有效。
实例分割
大部分实例分割工作分为两个阶段，因此较慢，文章[13]提出了全卷积实例感知分割方法，除此之外还有Mask R-CNN。
全景分割
全景分割的基线方法[1]使用了两个独立的网络进行语义分割和实例分割，分别为PSPNet和Mask R-CNN，并使用启发式方法进行结果融合。近期，文章[4]提出一个弱半监督的全景分割方法，他们通过使用绑定框来监管事物类，通过使用图像级标记来监管事物类，从而减轻了GT约束。文章[14]提出了JSIS-Net，其使用一个统一的特征提取基干，并使用启发式方法进行结果融合，实现了统一的全景分割结构。文章[15]提出了一个注意力引导的统一网络（AUNet），利用了提议区域和mask级的注意力去更好地分割背景，与文章[1]中相同的预处理启发式方法被用在了生成最终的全景分割结果中。文章[16]提出things and stuff consistency network（TASCNet），该网络建立了一个能在things和stuff之间为每个像素进行二值掩膜预测的结构，还额外增加了一个loss来加强things和stuff预测间的一致性。

与上述大多数方式不同的是，文章使用了单一的基干网络为予以分割和实例分割提供特征，更重要的是，文章提出了一个简单的但是有效的全景分割头，能够准确的预测实例和类别。

三、UPSNet

文章在这部分介绍了文章模型并进而揭示了实施细节。用Nstuff和Nthing来代表stuff和thing类的个数。</