CurriculumLabeling: Revisiting Pseudo-Labeling for Semi-Supervised Learning

Abstract

1 本文聚焦于在半监督学习中伪标签的使用。即用到了标注的数据，也用到了未标注的数据。
2 目前由于一致性正则化方法（consistency regularization method）的发展，这种方法主要是对未标注和标注后的数据施加各式各样的自监督损失以及标准的监督损失，伪标签逐渐的没那么流行
3 本文验证了两个使得伪标签获得不错效果的主要因素：
- curriculum learning
- avoiding concept drift by restarting model parameters before each self-training cycle

Introduction

1 在2009年的国际顶级机器学习会议ICML上，以机器学习领军人物Bengio为首的研究团队首次提出了课程式学习（Curriculum Learning）的概念

- 其主要思想是：模型先从容易的样本开始学习，并逐渐进阶到复杂的样本和知识。
- 对样本进行权重动态分配的过程被论文称之为课程（Curriculum），课程初始阶段简易样本居多，课程末尾阶段样本难度增加。
- Curriculum策略是先用简单数据集对神经网络进行训练，训练到一定的switch epoch后再用第二个复杂的数据集进行训练。该论文得出的结论是先用简单的知识训练对模型的提高会有帮助，并且简单的知识学得越好（即switch epoch越大），则对模型最终的泛化性能越有利

2 伪标签的流程 （ pseudo-labeling

但是这个典型的方法在被很多近年来的方法超过，逐渐的使用频率没那么高。

3 本文借助了curriculum learning的思想对于为标签的方法进行改进。包括动态控制学习速率策略。

model

1 伪标签模型利用了自己过去的预测的结果进行了多轮训练。在第一轮中，模型在有标签的集合上训练。 在随后的所有训练中，训练数据是前一回合中模型伪标记与标注好的数据的并集。

2 使用未标注数据中的哪一个部分作为新一轮训练的数据，是这个本文方法的重点。在实验中发现伪标签数据的最大概率预测的分布遵循Pareto分布。
不同于设置一个最大置信度阈值，而是使用动态地的百分位数迭代的将未标注数据加到训练集中。

3 整体的流程