18-Weakly-Supervised-Semantic-Segmentation-by Iteratively-Mining-Common-Object-Features

when

• CVPR 2018

who（影响了谁）

• 图像标签监督下的弱监督语义分割是一项具有挑战性的任务，因为它直接将高级语义与低级别外观相关联。为了弥合这一差距，在本文中，我们提出了一个迭代的自下而上和自上而下的框架，它可以扩展对象区域并优化分割网络。

why(为什么提出)

• 弱监督的语义分割非常具有挑战性，因为它直接将高级语义与低级别外观相关联。 由于只有图像标签可用，因此大多数先前的工作依赖于分类网络来定位对象。 然而，虽然没有像素方式的标注可用，但是分类网络只能产生不准确和粗略的鉴别对象区域，这不能满足逐像素语义分割的要求，从而损害了性能。
• 为了解决这个问题，在本文中，我们提出了一个迭代的自下而上和自上而下的框架，它通过挖掘公共对象特征（MCOF）从初始定位到逐步扩展对象区域来容忍不准确的初始定位。
• 动机，虽然分类网络产生的初始定位是粗略的，但它给出了对象的某些鉴别区域，这些区域包含关于对象的重要知识，即共同的对象特征。例如，如图1(a)所示，一些图像可以定位人的手，而其他图像可以定位头。

where（适用范围，优点，缺点， 创新点，以前的方法）

优点：

• 给定一组训练图像，我们可以从中学习共同的对象特征来预测整个对象的区域。因此，在自下而上的步骤中，我们将初始对象定位作为对象种子并从中挖掘共同对象特征以扩展对象区域。然后在自上而下的步骤中，我们使用挖掘的对象区域作为监督来训练分割网络以预测精细对象mask。预测的对象mask包含更多对象区域，这些区域更准确并提供更多对象的训练样本，因此我们可以进一步挖掘它们的共同对象特征。并且迭代地进行上述过程以逐步产生精细对象区域并优化分割网络。通过迭代，初始定位中的不准确区域被逐步校正，因此我们的方法是稳健的并且可以容忍不准确的初始定位。图1(b)显示了一些例子，其中初始定位非常粗糙和不准确，而我们的方法仍然可以产生令人满意的结果。

图1. (a) 提出的MCOF框架的图示。 我们的框架迭代地挖掘共同的对象特征并扩展对象区域。(b) 初始对象种子和我们挖掘的对象区域的示例。 我们的方法可以容忍不准确的初始定位并产生相当令人满意的结果。

改进点

• 我们首先训练图像分类网络并使用分类激活图（CAM）定位对象的判别区域。
• 然后将图像分割成超像素区域并使用CAM分配类标签，这些区域称为初始对象种子。初始对象种子包含对象的某些关键部分，因此在自下而上的步骤中，我们从它们中挖掘共同对象特征，然后展开对象区域。
• 我们通过训练区域分类网络并使用训练有素的网络来预测对象区域来实现这一目标。
• 虽然这些区域可能仍然只关注对象的关键部分区域，为了补充非鉴别区域，提出了在贝叶斯框架下考虑扩展对象区域和显着图的显着引导细化方法。然后在自上而下的步骤中，我们使用精化的对象区域作为监督来训练分割网络以预测分割mask。
• 通过上述过程，我们可以获得包含更完整对象区域的分割mask，并且比初始对象种子更精确。我们进一步将分割mask作为对象种子，并迭代地进行处理。通过迭