技术分享 | 半监督学习介绍

/ 背景 /

遥感图像的语义分割在城市规划、变化检测和地理信息系统建设中具有重要意义。在过去的几年中,一些研究者利用SIFT信息、纹理信息等特征对超像素进行分类。在多尺度上选取合适的超像素对遥感图像进行分割。在超像素方法的基础上,许多方法可以对遥感图像的不同区域进行分割。然而,由于超像素区域具有相同的标签,很难获得满意的分割结果。

近年来,相关的深度学习方法在语义图像分割方面取得了很大的进展,如FCN、UNet、DeepLab等。在深度学习的基础上,许多遥感图像分割方法也得到了发展。它们可以得到更精确的分割结果。

不幸的是,标记大量的样本是非常昂贵和耗时的,特别是在密集的预测问题,如语义分割。因为我们需要标记每个像素,标记成本是图像级标注难度的60倍以上。最近的研究表明,使用大量未标记数据和少量标记数据的半监督学习(SSL)对分类非常有益。这些方法可以分为一致性方法,伪标签方法,表征学习。一些工作试图将SSL应用于语义分割。naive-student使用一个大模型来生成带有未标记视频序列的伪标签,并应用迭代训练来进一步改进。它们只考虑具有原始输入images的伪标签,没有扰动。最近在CCT中的一项工作考虑对图像添加扰动以进行语义分割,但它们在不同的子解码器中转发具有不同扰动的图像,并加强子解码器与主解码器之间的一致性。因此,这种方法不可避免地会增加内存消耗,难以应用于高分辨率数据。也有一些作品关注生成方法。AdvSemiSeg和S4Gan中的工作都采用了一般对抗网络,并训练了对未标记数据有鉴别损失和对标记数据有监督损失的模型。

/ 我们怎么做 /

我们首先探索了基于self training的半监督语义分割方法。最近,语义分割取得了重大进展。然而,监督语义分割的成功通常依赖于大量的标记数据,这是耗时且成本高昂的。受图像分类的半监督学习方法的成功启发,我们提出了一种简单而有效的语义分割半监督学习框架。我们证明了问题出在细节上:一组简单的设计和训练技术可以显著提高半监督语义分割的性能。先前的工作未能在伪标签学习中有效地使用强增强,因为强增强导致的分布不均等损害了批归一化统计。我们设计了一种新的批处理规范化,即特定于分布的批处理标准化(DSBN)来解决这个问题,并表明了强增强对语义分割的重要性。此外,我们设计了自校正损耗,这在抗噪声方面是有效的。我们进行了一系列消融研究,以显示每个组件的有效性。我们的方法在Cityscapes和Pascal VOC数据集的半监督设置中实现了最先进的结果。

我们继续探索基于一致性的半监督算法。当前最先进的半监督语义分割方法探索了一致性规则化的潜力。在训练期间约束教师和学生网络之间的相似性。图像上的数据增强通常在训练期间应用于学生网络,并使用具有不同初始化的多个网络。典型的网络扰动方法CPS将同一图像送到两个不同的初始化网络中,并使用从一个分支生成的伪标签来监督另一个分支。注意,这两个分支在训练过程中使用反向传播而不使用移动平均进行优化。因此,模型“忘记”了重要的历史信息。为了进一步提高半监督语义分割模型的性能,我们提出了一种新的互知识提取框架。基于具有不同初始化参数的两个共同训练分支,我们进一步使用两个辅助均值教师模型来记录训练过程中的信息,并提供额外的监督。从一个教师网络生成的伪标签监督另一个学生,反之亦然。弱增强被应用于教师的输入图像,以增加对预测的信心。此外,学生的输入图像也得到了增强,以使样本多样化。受先前应用于图像分类的隐式语义数据挖掘的启发,我们进一步增强了学生的特征以进行分割。来自教师网络的伪标签往往更可靠,而学生网络可以在更多样和更具挑战性的样本上进行训练。

/ 未来展望 /

现在的半监督学习在使用时,对于无标签数据的选择上是有先验条件的,我们期望在今后的研究中突破这些先验条件,做一个更加统一的架构。

参考文献:

  1. Yuan J, Liu Y, Shen C, et al. A Simple Baseline for Semi-supervised Semantic Segmentation with Strong Data Augmentation[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 8229-8238

  2. Yuan J, Ge J, Qian Q, et al. Semi-supervised Semantic Segmentation with Mutual Knowledge Distillation[J]. arXiv preprint arXiv:2208.11499, 2022.

作者信息:袁建龙,阿里巴巴达摩院 Al Earth 团队技术专家,主要研究方向包含 dense prediction , Imperfect data research , label / data efficient learning 等,曾在计算机视觉领域深耕数年,发表过多篇计算机视觉顶级会议期刊。

  • 4
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI Earth地球科学云平台

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值