Towards Noiseless Object Contours for Weakly Supervised SemanticSegmentation

摘要

由于图像标签容易获取，基于图像级标签的弱监督语义分割备受关注。现有的方法通常是从类激活图(CAM)生成伪标签，然后训练分割模型。CAM通常突出显示部分对象并产生不完整的伪标签。一些方法通过在CAM种子标签监督下训练轮廓模型来探索目标轮廓，然后在轮廓引导下将CAM分数从判别区域传播到非判别区域。传播过程受目标内轮廓噪声的影响，传播结果不充分会产生不完整的伪标签。这是因为粗糙的CAM种子标签缺乏足够精确的语义信息来抑制轮廓噪声。本文通过骨干特征共享和在线标签监督，训练了一个SANCE模型，该模型利用辅助分割模块来补充轮廓训练的高级语义信息。辅助分割模块还提供了比CAM更精确的伪标签生成定位图。我们以Pascal VOC 2012和MS COCO 2014为基准评估了我们的方法，并取得了最先进的性能，证明了我们方法的有效性。

The source code can be found at https://github.com/BraveGroup/SANCE

1.引言

如图1 (a)所示，颈部区域的噪声边缘阻碍了目标从头部区域到身体区域的评分，伪标签仅覆盖头部区域。这是因为轮廓监督信号CAM种子标签缺乏足够的高级语义信息。CAM是一个粗糙的定位图，我们只能得到稀疏的种子标签，其中包含许多不确定的像素标签，同时CAM通常会突出前景物体周围的背景区域，从而导致CAM种子标签中的目标区域出现假阳性。

为了使轮廓模型探索具有较少噪声的目标内部边缘的目标轮廓，除了CAM种子标签监督外，我们还采用了辅助分割模块，为轮廓模型训练提供足够的高级语义信息。首先，分割分支通过共享主干特征向轮廓分支共享语义知识;其次，对分割图进行细化，生成在线标签，为轮廓分支提供足够的高层次语义监督;为了使分割分支能够准确预测结果，我们采用CAM种子标签和在线标签作为训练信号。总体上，我们的模型包含一个轮廓分支和一个分割分支，我们称之为分割辅助无噪声轮廓探测模型(SANCE)，这两个分支共享同一主干，并使用CAM种子标签和在线标签进行监督。在线标签是在轮廓约束下通过分数传播细化分割图生成的。对于具有目标内边缘的轮廓地图，分割地图比CAM地图覆盖了更多的目标部分，因此被噪声边缘分割的目标邻近区域在精细分割地图中获得了较高的前景分数，在在线标签中给出了完整的目标估计，并且抑制了噪声的目标内边缘。另一方面，在线标签由于轮廓信息给出了更精确的目标形状，从而迫使分割分支预测完整和精确的目标定位图。经过训练，我们的SANCE模型预测出了无噪声的目标轮廓和高质量的分割图，如图1 (b)所示，我们在此基础上生成了更完整的伪标签。本文的主要贡献总结如下:

• 我们识别了最近的轮廓辅助CAM改进方法中用于WSSS问题的目标内边缘问题。对象内边缘可能会阻碍对象分数的传播，导致伪标签不完整。
• 引入SANCE框架，利用辅助分割分支的高级语义信息来探索无噪声目标轮廓。
• 在Pascal VOC 2012基准上，我们使用生成的伪标签训练DeepLabv2，并在val和测试集上分别以72.0%和72.9%的mIoU实现了最新的性能。在MS COCO 2014上，我们也实现了新的最先进的性能，在val set上有44.7%的mIoU。

图一：IRNet和我们的伪标签生成。(a) IRNet等高线地图包含了很多目标内的边缘，遗漏了一些真实的轮廓，CAM分数不能从判别区传播到非判别区。(b)我们的SANCE预测了无噪声的轮廓和更完整的分割图，从而产生更好的伪标签。 

3. The Proposed Approach

如图2所示，SANCE训练过程包含两个阶段。第一阶段采用CAM从图像分类标签中估计初始粗种子。在第二阶段，SANCE学习在粗CAM种子的监督下预测无噪声物体轮廓。SANCE包含一个轮廓分支和一个辅助分割分支，它们共享同一主干，它在辅助分割分支的帮助下学习探索无噪声目标的轮廓。经过训练后，SANCE预测出准确的轮廓地图和分割地图，我们采用这两种地图生成可靠的伪标签用于标准分割模型训练。

在下面几节中，我们将详细说明SANCE的细节。

 图二：SANCE培训过程。给定训练图像，我们首先在阶段1中从训练好的分类网络中脱机获取它们的C