16-Scribblesup_Scribble-supervised_convolutional_networks_for_semantic_segmentation

• 这篇文章提出了一种基于用户交互的图片分割训练方法(ScribbleSup)。即训练者只需要在图片上的小部分区域进行标注(scribble annotation)即可训练分割网络。如下图所示的标注方式（左图：原图；中图：传统的语义分割标注；右图：scribble annotation）：

  

创新

1. 语义分割模型的弱监督训练。和其它使用bounding box或者全图语义标注作为监督信息的文章不同，这篇文章使用的标注比较特殊，是用户的简单勾画；
2. 交互式分割模型。Grabcut是典型的交互式分割模型。ScribbleSup与Grabcut非常相似。可以理解为是Grabcut的延伸工作。这篇笔记就以Grabcut为出发点来理解这篇工作的思想；
3. 自动标注工具。用少量的人为标注（或画框，或使用画笔勾画或者标注少量的点）来得到分割标注，这也是许多自动标注工具的主要思想之一。

框架

Scrrible-SUP 学习

• Task1: 该算法要从scibble传播信息到未标注的像素 方案：GrubCut

• Task2: 该算法要学习一个卷积神经网络以便进行像素级别的预测 方案：FCN
  目标函数： ∑ i φ ( y i ∣ X , S ) + ∑ i , j φ i j ( y i , y j ∣ X ) ​ \sum_{i}\varphi (y_{i}|X,S) + \sum_{i, j}\varphi _{ij}(y_{i},y_{j}|X)​