Weakly Supervised Instance Segmentation using Class Peak Response阅读笔记

论文链接：https://arxiv.org/abs/1804.00880

目前技术空缺

目前大部分弱监督下的实例分割技术需要大范围像素级的标注去训练深度神经网络，然而这种方法往往耗费大量人力物力[1]。相比之下，普通的图像分类卷积神经网络的训练，只需要简单的图像级的类别标注，即图像中有没有要求范围内的物体类别，这种操作更为简单方便。然而目前并没有仅依赖图像级标注的实例分割方法，即便在任务实现相对容易的语义分割技术中，也很少有仅依赖于此的方法。

目前存在的大部分弱监督下的语义分割技术将CNN中的卷积核作为物体检测器并且聚集深度特征图提取类感知的视觉证据[2][3],典型的网络有FCN全卷积网络，它能够实现像素级的分类，但是却无法实现实例分割。因此现有的若监督语义分割方法无法被简单的泛化为既能够准确识别出图片中所有的物体又能够对每个实例进行准确标注的实例级语义分割方法。

灵感来源

输入图片经过全卷积分类器后，可以产生类相应图，它指定每个图像位置的分类置信度。论文发现，在类响应图中的某些区域的最大值通常反映了隐藏在每个实例图像中的强视觉线索。

论文研究

论文通过利用类峰值响应来解决这个具有挑战性的问题—使用图片级的弱监督训练CNN以实现实例级的语义分割。

论文工作

首先，在训练阶段，设计一个过程来刺激峰值从类反应图出现。在测试阶段，出现的峰值被反向传播并有效地映射到每个对象实例的高度信息区域，例如实例边界。从峰值响应生成的上述映射被称为峰值响应图（PRMs）。如下图所示：