Weakly supervised semantic segmentation:AE

Object Region Mining with Adversarial Erasing: A Simple Classification to Semantic Segmentation Approach

Abstract

对抗性擦除：提出的方法通过以对抗的方式擦除当前挖掘的区域来驱动分类网络顺序地发现新的和补充的目标区域。

首先通过一个分类网络，找出响应度最高的位置，擦除这些位置，然后把擦除后的图片送入分类网络，分类网络为了弥补性能的损失，就要关注其他有区分度的部分，如此迭代直到没有有用的区域剩下。将擦除的区域合并就是pesudo mask

由于对边界注意很少，AE会遗漏信息并引入噪声，引入了互补的online prohibitive segmentation learning解决欠激活过激活问题。PSL使用预测的图像级分类置信度来调整相应的类别特定响应图，并将它们形成辅助分割掩模，该掩模可以以在线方式更新。禁止那些具有低分类置信度的特定类别的分割图对所形成的监督掩模做出贡献，从而可以有效地减少噪声。

Method

AE操作

在第一个操作中，我们通过最小化平方标签预测损失来训练分类网络，如[30]所建议的。在执行擦除的第二个操作中，我们首先使用分类激活图(CAM)方法为每个图像级标签生成热图[34]。然后，通过对热图应用硬阈值来获得有区别的对象区域。我们通过用所有训练图像的平均像素值替换其内部像素来从训练图像中删除挖掘出的区域。迭代直到网络不能很好地收敛于产生的训练图像，即不再留下用于执行相当好的分类的区分区域。

同样使用saliency detection获取背景信息，low saliency被视为背景，会得到B，B与前景F加起来就是分割结果S。其中有三种类别的像素被忽略

1. **冲突的** **不同类别**的那些**被擦除的前景区域**；
2. AE识别为目标区域的，在saliency detection中却是low值的
3. 没有分配语义label的像素

听得好好的

Online PSL for Semantic Segmentation

前景和背景的像素可能会被忽略，而且由于边界信息的缺失，一些labeled pixel的语义信息可能有噪音。

我们使用unlabeled pixels进行训练去获取对错误标记的像素的鲁棒性。使用PSL对AE产生的mask进行优化。

PSL利用图像分类结果来识别可靠的各个类别分割图，并将它们形成噪声较小的辅助监督图，为AE输出提供辅助信息。PSL以在线方式随着分割网络的训练更新产生的辅助分割图，并产生越来越可靠的辅助监督。

如图(b)所示PSL的框架，该框架包括两个分支，一个用于分类，另一个用于语义分割。特别是，PSL使用平方损失作为分类分支的优化目标，PSL使用其产生的分类置信度来加权相应的特定类别的分割得分图。

在分类结果的帮助下，在线PSL能够将多类别分割图集成到辅助分割mask中，并在AE输出之外提供监督。对于PSL，对应于具有低分类置信度的类别的那些分割图被禁止贡献给辅助分割图。因此，可以有效地减轻来自那些不相关类别的噪声。

• C_seg是segmentation task的语义label，O_seg图像I的image-specific label set(包括背景类)，
• 我们把从image-level 分类网络得到的prediction向量设为v，
• S是AE操作产生的segmentation mask

PSL利用C_seg上产生的image prediction（这里意思就是image prediction是1*C的向量，C代表数据集的总类别数）训练一个分割网络，它预测了image plane上每个位置u，每个类别c的概率

为了产生用于训练分割网络的附加分割掩码S^，PSL使用v来加权前景类别分割得分图，如图3 (b)所示。

通过这种禁止性操作，可以通过乘以小的分类类别分数来抑制来自负分值图的大响应值。同时，还可以增强主要类别(即占据图像大面积的相应对象)的得分图。

将加权算子表示为⊗，然后由下式得到

这里附加的元素1用于加权背景类别。Sc和Sc^代表被分配为c类的像素

loss函数

特别地，我们将那些小于p的分类置信度设置为零，并且保持其他分类置信度不变，并且应用它们来加权预测的分割分数图，并且产生最终的分割结果。

对于AE的每个步骤，属于热图中最大值的前20%的那些像素被擦除，然后被认为是前景对象区域。

我们使用显著图来产生背景定位线索。

对于那些属于室内场景(例如沙发或桌子)的图像，我们采用归一化显著性值<0.06作为阈值来获得背景像素，以防一些对象被错误地分配给背景。对于来自其他类别的图像，阈值被设置为0.12。对于语义分割的测试阶段，经验上设定为0.1的禁止阈值被用于后处理。