干货！全监督对比学习：语义分割新训练范式

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

当前语义分割算法本质是通过深度神经网络，将图像像素映射到一个高维的特征空间。然而，当前算法只关注于局部上下文信息(单个图像内、像素之间的位置和语义依赖性)，却忽略了训练数据集的全局上下文信息(跨图像的、像素之间的语义相关性)，因而难以从整体的角度对习得的特征空间进行约束，进而限制了语义分割模型的性能。对此我们提出了一种全新的、全监督语义分割训练范式:像素对比学习(pixel-wise contrastive learning)，强调利用训练数据集中，跨图像的像素-像素对应关系(cross-image pixel-to-pixel relation)来学习一个结构化(well-structured)的特征空间，用来替代传统的、基于图像的(image-wise) 训练范式。该训练策略可直接应用于主流语义分割模型，带来显著的性能提升，并在模型推理阶段不引入额外计算开销。

本期AI TIME PhD直播间，我们邀请到苏黎世联邦理工学院博后研究院——王文冠，为我们带来报告分享《全监督对比学习：语义分割新训练范式》。

王文冠：

苏黎世联邦理工学院(ETH Zurich)博后研究员。主要研究方向为自动驾驶、语义分制、视频分析、以人为中心的场最解析和具身人工智能等。在国际权威期刊和会议(如TPAMI、TIP、TVCG、CVPR、ICCV、 ECCV、 AAAI、 Siggraph Asia)发表学术论文50多篇，谷歌学术引用7900+。曾获百度奖学金、ACM中国优博奖、中国人工智能学会优博奖、世界人工智能大会优秀青年论文奖，以及CVPR、 ICCV、 ECCV杰出审稿人，入选2020年Elsevier中国高被引学者榜单，获澳大利亚研究理事会青年职业奖。

01

 背   景 

语义分割任务是在图像上实现像素级的分类，自FCN（全卷积网络）提出后，一个发展的额主线是如何利用图像内的上下文信息。其中一类算法是通过采用某些特殊的神经网络架构，如空洞卷积（dilated convolution）、空间金字塔池化（SPP）、注意力机制（attention），来实现这一目的；另一个类算法是提出考虑图像内像素关系的、结构化训练损失函数（Structure-aware training objective），比如Pixel-affinity loss会对相邻像素之间分类预测不一致的情况进行惩罚，还有一些基于IoU的损失函数，比如lov