Weakly-Supervised Semantic Segmentation via Sub-category Exploration

Weakly-Supervised Semantic Segmentation via Sub-category Exploration

介绍动机

摘要：
现有的基于图像级标注的弱监督语义分割方法通常依赖于初始响应（initial responses ）来定位目标区域。
然而——>分类网络生成的这类响应图通常集中在discriminative object parts，因为网络不需要整个目标来优化目标函数。
为了加强网络对对象其他部分的关注——>我们提出了一种简单而有效的方法，通过利用 子类别信息 引入自我监督任务。具体来说，我们对图像特征进行聚类以在每个带注释的 父类中生成伪子类别标签 ，并构造子类别目标来将网络分配给更有挑战性的任务。通过对图像特征的迭代聚类，训练过程不局限于最具鉴别性的目标部分，从而提高了响应映射的质量。我们进行了广泛的分析，以验证所提出的方法，并表明我们的方法优于最先进的方法。

现有的基于图像级监督的弱监督语义分割方法通常采用类激活映射(Class Attivation Mapping CAM)获取响应映射作为初始预测。然而，这个响应映射只能突出显示 对象的有区别的部分（discriminative object parts）(顶部)。我们提出了一个通过子类别探索的自我监督任务，以加强分类网络更好地学习响应图(下图)

方法

上图是生成CAM的框架流程。
1给定输入图像 i 把它放入特征提取器 E 获取图像的特征 f 。
2然后对 f 采用无监督聚类 获取m每个图像的伪标签 Ys。
3然后我们用过联合优化 parent classifier Hp（通过真实标签）和sub-category classifier Hs（通过聚类生成的伪标签） 优化分类网络。
迭代地 对特征进行聚类然后训练分类模型 最后用训练好的分类网络产生最终的 cam图 如上

公式说明

生成activation mapping的公式

训练之后，每个类c的activation map M可以由将分类器应用到feature maps f 上 f = E(i)

θ是分类器权重 f(x,y)是（x,y）像素点的特征.

使用(1)的每张图像的激活映射通常只突出显示有区别的对象部分（discriminative object part）。然而，从分类器的角度来看，发现 对象最具鉴别性的部分（discriminative object part）就足以优化损失函数Lp 分类。由于学习目标是基于分类评分的，因此CAM模型不可避免地会产生不完全注意图。
为了解决这个问题，我们集成了一个自我监督方案来增强特征表示，同时通过探索子类别信息来改进响应映射。
为了解决这个问题，我们集成了一个自我监督方案来增强特征表示，同时通过探索子类别信息来改进响应映射，这似乎是通过(1)计算激活映射的一个重要线索。

聚类的目标

Ls损失 （聚类的损失函数），优化聚类器,用于生成聚类伪标签。

总损失函数

在该方法中，父分类通过监督训练通过Lp学习特征空间，而子类别对象探索特征子空间，并提供额外的梯度来增强特征表示–>这是用来通过计算CAM

算法流程

用 Yp （真实标签）优化 {特征提取E, Hp} 通过Lp （普通分类损失）
训练的时候：
提取特征 f = E(I)
for c <-- 1 to C do
生成伪标签通Ysc过式子（2）
优化{E,Hp,Hs} with {Yp,Ys}通过 （3）
计算 Mc 通过（1）