[半监督学习] Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method for Deep NN

以监督的方式同时使用标记和未标记的数据进行训练. 通过最小化未标记数据的熵, 促进类之间的低密度分离.

论文地址: Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks
代码地址: https://github.com/iBelieveCJM/pseudo_label-pytorch
会议: ICML 2013
任务: 分类

本文介绍的 Pseudo-Label 是一个非常经典的 SSL 算法, 方法非常简单, 其核心就是 self-training. 对于未标记数据, 选择预测概率最大(或置信度最大)的标记作为样本的伪标记. 然后将带伪标签的数据视作标记数据加入训练集.

Pseudo-Label 算法

利用深度神经网络(DNN), Pseudo-Label 对无标签数据进行一个预测, 选择预测结果概率最大的结果作为该数据的标签, 这个标签便称为伪标签:
$$y_i^{\prime }=\{\begin{array}{ll}1,& \text{if }i=\underset{i^{\prime }}{\mathrm{argmax}}{f}_{i^{\prime }}(x)\\ 0,& \text{otherwise}\end{array}\text{\hspace{1em}(1)}$$
考虑到标记数据和未标记数据的总数差异, 整体损失函数设计如下:
$$L=\frac{1}{n}\sum _{m=1}^n\sum _{i=1}^{C}L(y_i^m,f_i^m)+\alpha (t)\frac{1}{n^{\prime }}\sum _{m=1}^{n^{\prime }}\sum _{i=1}^{C}L(y_i^{\prime m},f_i^{\prime m})\text{\hspace{1em}(2)}$$
上式中的第一部分是有标签数据的损失函数, 第二部分表示伪标签数据的损失函数. 其中 $n$, $n^{\prime }$ 分别为有标签和无标签数据集的大小, $L$ 为交叉熵损失.

式(2)中的 $\alpha (t)$ 为权重控制, 用来衡量有标记和无标记数据的重要性. 具体计算如下:
$$\alpha (t)=\{\begin{array}{ll}0,& t<T_1\\ \frac{t-T_1}{T_2-T_1}{\alpha }_f,& T_1\le t\le T_2\\ \alpha (f)& T_2\le t\end{array}\text{\hspace{1em}(3)}$$
在 $T_1$ 轮之前, 只在有标记数据上训练, 然后利用训练的模型给未标记数据打上伪标签, 再逐渐增加未标记数据的权重. $\alpha (t)$ 的正确调度对于网络性能非常重要. 如果 $\alpha (t)$ 太高, 则会对训练产生非常大的干扰. 如果 $\alpha (t)$ 太小, 则不能利用到未标记数据的好处. 另外使用退火算法来优化局部最小值.

代码地址: https://github.com/EricArazo/PseudoLabeling