16-Seed_expand_and_constrain Three_principles_for_weakly-supervised_image_segmentation

概括

• Seeding Loss——对目标进行弱定位（weak localization）生成初始mask
• Expansion Loss——对弱定位的mask进行合理的扩大
• Constrain-to-boundary Loss——对扩大后的mask进行合理的约束，更贴近目标边界
• 因此将该方法命名为SEC（Seed + Expand + Constrain）

创新

• 图像分类神经网络，例如AlexNet 或VGG，可用于生成可靠的对象定位线索（种子），但无法预测对象的确切空间范围。 我们通过使用种子损失来结合这一方面，该种子损失鼓励分割网络匹配定位提示，但是对于图像的其余部分是不可知的。
• 为了从每个图像标注训练分割网络，可以使用全局池化层将分割mask聚合成图像级标签分数。该层的选择对分割的质量有很大影响。 例如，最大池化倾向于低估对象的大小，而平均池化往往会高估它。 我们提出了一个全球加权等级池化，它通过扩展损失来利用，将对象种子扩展到合理规模的区域。 它扩展了最大池化和平均池化，并在我们的实证研究中表现优于它们。
• 从图像级标签训练的网络很少捕获图像中对象的精确边界。 在测试时通过全连接条件随机场（CRF）进行后处理通常不足以克服这种影响，因为一旦网络经过训练，他们就会对错误分类的区域产生信心。 我们提出了一种新的约束到边界损失，可以在训练时缓解不精确边界的问题。 它努力约束预测的分割mask以重视低级图像信息，特别是对象边界。

框架

Seeding loss

• 首先需要使用某种方法对图像中的目标进行弱定位（weak localization），所谓的弱定位，就是通过图像层面（image-level）的label对图像中的目标进行定位。采用的主要方法为CAM（Class Activation Mapping）—— Learning Deep Features for Discriminative Localization（CVPR 2016）

• Seeding loss的流程及效果如图2 所示，图片中主要有两个目标：person和cow（图2 左），使用弱定位方法将两个目标以及背景分别生成热力图（图2 中），最后合成，生成这三类的初始位置信息（图2 右）

• Seeding loss定义如下：

• 其中$f(X)$表示在图像$X$中，区域$u$被预测为类别$c$的概率，$Sc$表示通过弱定位得到的那些被标注为类别$c$