见微知著：语义分割中的弱监督学习

点击上方“深度学习大讲堂”可订阅哦！

编者按：语义分割是AI领域的一个重要分支，被广泛应用于自动驾驶领域。近年来，深度学习为该领域带来了飞跃式的进展，然而这一进步依赖于大量全监督的标注数据。在语义分割领域，这意味着像素级别的标注。因此，如何利用弱监督的标注数据来学习语义分割成为了一大挑战。本文中，来自新加坡国立大学的魏云超博士，将为大家介绍弱监督学习在语义分割方面的应用。文末，大讲堂特别提供文中提到所有文章的下载链接。

这次报告的主题是“弱监督学习在语义分割方面的应用”。

弱监督问题

我们所关注的弱监督问题是指为实现某个计算机视觉任务，采用了比该任务更弱的一种人工标注作为监督信息。一般来讲，这种弱监督的标注比原始的标注更容易获取。例如，对于目标检测任务，image-level（图像层面）的标签相比物体的bounding box是一种弱监督的标注；对于语义分割任务，image-level的标签和物体的bounding box相比pixel-level（像素层面）的标签则是一种弱监督的标注。

据统计，从2013年至今，“weak”作为关键词在计算机视觉的三大顶会上（ICCV、ECCV、CVPR）发表的论文数量逐渐增加，“弱监督”也受到了越来越多的关注。

为什么需要弱监督学习呢？首先，目前主流的基于深度卷积神经网络的方法都依赖于大量的标注数据才能得到较好的模型。其次，无论从人力还是经济上来讲完成某些视觉任务（如物体检测和语义分割）的标注成本都很高。

本次报告主要介绍如何利用弱监督信息来解决像素级的语义分割问题。上图为现在大家常用的一种全监督的方法，即利用图像和其对应的像素级标注信息训练一个全卷积神经网络。该网络可以对测试图片的每个像素进行分类，从而得到语义分割的结果。

这里所讲的“弱监督学习”是指我们仅利用image-level的标注信息，通过弱监督方式学出一个模型，该模型可以预测出图像的语义分割结果。

这种弱监督学习的关键问题是如何去构建image-level的标签语义和像素点的关联，推断出图像所对应的segmentation mask，从而利用全卷积神经网络去学习分割模型。

Proposal-based Solution