【图像】初识弱监督下的图像语义分割

对于基于深度学习的图像语义分割，最近读的两篇文章《BoxSup：exploiting bounding boxes to supervise convolutional networks for semantic segmentation》和《Weakly supervised semantic segmentation with convolutional networks》中的模型基本上还是基于FCN来扩展的，之所以称为弱监督，是因为对于FCN的图像分割，训练数据肯定要有像素级别的label，这样训练数据的获取就是expensive的，因此这两篇文章提出了基于非像素级别标注的训练集的分割模型。
第一篇何凯明的《BoxSup：exploiting bounding boxes to supervise convolutional networks for semantic segmentation》，提出了基于bounding box标注的训练集的分割模型。第二篇是《Weakly supervised semantic segmentation with convolutional networks》，提出的模型只需要训练集带有目标物体的类别标签就可以了，也就是说可以把用来做分类的数据集直接用来训练分割模型，当然其中有一定的局限性，就是每张样本只能拥有一个类别的物体。
个人认为，上述两个模型均是基于FCN模型，而FCN模型在训练的时候需要pixel-level的标签来进行反向传播算法，而上述模型的工作重点即是需要将训练过程中FCN的pixel-level的输出与bounding box或image-level的标签联系起来完成反向传播算法来训练参数。
第一篇文章里提出的算法结合了FCN和region proposal模型，在region proposal模型中使用bounding box生成FCN的训练标签，训练好FCN网络后再去利用所有图像的网络输出去修正region