点击蓝字
关注我们
AI TIME欢迎每一位AI爱好者的加入!
当前语义分割算法本质是通过深度神经网络,将图像像素映射到一个高维的特征空间。然而,当前算法只关注于局部上下文信息(单个图像内、像素之间的位置和语义依赖性),却忽略了训练数据集的全局上下文信息(跨图像的、像素之间的语义相关性),因而难以从整体的角度对习得的特征空间进行约束,进而限制了语义分割模型的性能。对此我们提出了一种全新的、全监督语义分割训练范式:像素对比学习(pixel-wise contrastive learning),强调利用训练数据集中,跨图像的像素-像素对应关系(cross-image pixel-to-pixel relation)来学习一个结构化(well-structured)的特征空间,用来替代传统的、基于图像的(image-wise) 训练范式。该训练策略可直接应用于主流语义分割模型,带来显著的性能提升,并在模型推理阶段不引入额外计算开销。
本期AI TIME PhD直播间,我们邀请到苏黎世联邦理工学院博后研究院——王文冠,为我们带来报告分享《全监督对比学习:语义分割新训练范式》。
王文冠:
苏黎世联邦理工学院(ETH Zurich)博后研究员。主要研究方向为自动驾驶、语义分制、视频分析、以人为中心的场最解析和具身人工智能等。在国际权威期刊和会议(如TPAMI、TIP、TVCG、CVPR、ICCV、 ECCV、 AAAI、 Siggraph Asia)发表学术论文50多篇,谷歌学术引用7900+。曾获百度奖学金、ACM中国优博奖、中国人工智能学会优博奖、世界人工智能大会优秀青年论文奖,以及CVPR、 ICCV、 ECCV杰出审稿人,入选2020年Elsevier中国高被引学者榜单,获澳大利亚研究理事会青年职业奖。
01
背 景
语义分割任务是在图像上实现像素级的分类,自FCN(全卷积网络)提出后,一个发展的额主线是如何利用图像内的上下文信息。其中一类算法是通过采用某些特殊的神经网络架构,如空洞卷积(dilated convolution)、空间金字塔池化(SPP)、注意力机制(attention),来实现这一目的;另一个类算法是提出考虑图像内像素关系的、结构化训练损失函数(Structure-aware training objective),比如Pixel-affinity loss会对相邻像素之间分类预测不一致的情况进行惩罚,还有一些基于IoU的损失函数,比如l