利用DP-SSL对少量的标记样本进行有效的半监督学习

©作者 | Doreen

01 介绍

深度学习之所以能在图像分类、自然语言处理等方面取得巨大成功的原因在于大量的训练数据得到了高质量的标注。

然而在一些极其复杂的场景（例如:无人驾驶）中会产生海量的数据，对这些数据进行标注将会产生大量的时间成本和人工成本。

近些年，研究人员提出了active learning, crowd labeling, distant supervision,
semi/weak/self-supervision等方法试图缓解人工标记的工作量。其中，半监督学习 (SSL)是运用最为广泛的一种。

SSL主要运用了两种策略即伪标签（利用模型的预测作为标签来训练模型）和一致性正则化（令模型在经过不同变换后仍能得到相同的预测结果）。

该方法虽然在一定程度上解决了手工标注数据的麻烦，但在标记数据的数量极其有限的情况下，SSL在准确性和鲁棒性上都表现不佳。

为了解决这个问题，研究人员提出了一种基于多选择性(MCL, multiple choice learning)的半监督学习方法DP-SSL(Data Programming Semi-supervised Learning) 对未标记的数据自动生成概率标签，大大提升了图像分类的准确率和鲁棒性。

02 相关工作

多选择性学习(MCL)主要用来提升模型的多样性，但在实际训练过程中，MCL容易让模型处于over-confident状态，导致最终的预测结果不优。

为了解决这个问题，部分研究人员强迫非特定模型的预测结果满足均匀分布，然后对多样化的输出求和得到最终的预测。

半监督学习（SSL）已经被广泛应用于图像分类，目标检测和语义分割中。在图像分类领域，SSL主要通过伪标签或一致性正则化来解决标记样本较少的情况。例如FixMatch将两者简单地结合起来，采用无监督学习和聚类方式给未标记的目标打上了伪标签。

数据编程（Data Programming）是一种弱监督范式，从标签函数产生的各类带噪声标签中获取相关知识从而推断出正确的标签。利用该方法可以自动生成一些概率标签。

虽然以上三种方法都能很好地处理未标记的样本，但在标记样本较少的情况下，仅靠其中任何一种方法都不能得到准确的预测结果。

03 流程图及代码注释

为了解决现存方法的缺陷，作者首次提出了将MCL、SSL和DP结合起来的DP-SSL，其结构如图1所示。

图1 DP-SSL结构图

（图片来自论文：DP-SSL: Towards Robust Semi-supervised Learning with A Few Labeled Samples. https://arxiv.org/abs/2110.13740）

1、建立标签函数

建立标签函数的目的是为未标记的图像生成带有噪声的标签。现有的标签是基于图像不可知（image-agnostic）知识和预训练模型生成的，这类标签很难清楚地描述图像分类的规则。

为了改进这类标签，作者将MCL和SSL结合起来，利用MCL为每个标签函数生成特定的集合，使其在标记样本数量较少的情况下也能通过SSL区分出来。

如图1所示，首先利用一个Wide ResNet模型提取图像特征，生成多个标签函数。然后将图像特征经过特定的变换（如公式（1）所示）送入每个标签函数中。