IN DEFENSE OF PSEUDO-LABELING（伪标签半监督学习）

IN DEFENSE OF PSEUDO-LABELING: AN UNCERTAINTY-AWARE PSEUDO-LABEL SELECTION FRAMEWORK FOR SEMI-SUPERVISED LEARNING（感知不确定性的伪标签选择框架—半监督学习）

• 作者单位：University of Central Florida
• 论文：https://arxiv.org/pdf/2101.06329.pdf

ABSTRACT

1. 以前的方法：一致性正则化（缺陷：严重依赖于特定领域的数据增强）
2. 伪标签方法性能不佳：由于错误的高可信度预测，而这些预测来自于校准不当的模型（产生许多不正确的伪标签，导致有噪声的训练）
3. 本文提出了一种不确定性感知的伪标签选择(UPS)框架，该框架通过大幅减少训练过程中遇到的噪声量来提高伪标签的准确性
4. 创造负标签样本

INTRODUCTION

1. 对于SSL，一个常见的假设是决策边界应该位于低密度区域（一致性正则化：使网络输出对小的输入扰动保持不变 / 基于伪标记的方法：选择置信度高的未标记样本作为训练目标）
2. 与一致性正则化相比，伪标记的一个优点是它本质上不需要扩充，并且可以广泛应用于大多数领域
3. 作者认为，传统的基于伪标签的方法效果较差，这是因为网络校准不良会产生错误的伪标签样本，导致训练有噪声和泛化能力差（为了弥补这一点，作者研究了输出预测不确定性与校准之间的关系—选择低不确定性的预测大大降低了低校准的影响，提高了泛化）
4. 本文提出一个不确定性感知的伪标签选择(UPS)框架，利用预测的不确定性来指导伪标签选择过程
5. 贡献：
   （1）本文引入了一种新的不确定性感知伪标签选择框架UPS，该框架极大地减少了网络校准不良对伪标签过程的影响
   （2）虽然以前的SSL方法侧重于单标签分类，本文推广伪标签来创建负标签，允许negative learning和多标签分类

RELATED WORKS

1. Pseudo-labeling：伪标签和自训练的目标是使用标记数据训练的模型为未标记的样本生成伪标记
2. Consistency Regularization：一致性正则化方法的主要目标是获得基于扰动/增广不变的输出分布
3. Uncertainty and Calibration：

PROPOSED METHOD

1. PSEUDO-LABELING FOR SEMI-SUPERVISED LEARNING
2. PSEUDO-LABEL SELECTION
3. UNCERTAINTY-AWARE PSEUDO-LABEL SELECTION：
   （1）尽管基于置信度的选择减少了伪标签错误率，但神经网络的低校准使得该解决方案不足—在低校准的网络中，不正确的预测可能具有较高的置信度分数
   （2）改进（置信度+不确定性）：
   
4. LEARNING WITH UPS

EXPERIMENTAL EVALUATION

1. Datasets：CIFAR-10、CIFAR-100、UCF-101、Pascal VOC2007
2. IMPLEMENTATION DETAILS：
3. 消融实验：
   

DISCUSSION

1. Uncertainty Estimation：
   
2. Data Augmentation in SSL：UPS不依赖于特定增强

CONCLUSION

1. 本文提出了UPS，一种不确定性感知的伪标签选择框架，它保持了伪标签的简单性、通用性和易于实现，同时与基于一致性正则化的SSL方法一样执行
2. 传统的伪标签方法由于神经网络校准较差，对大量不正确的伪标签进行训练，导致训练有噪声;本文的伪标签选择过程利用预测的不确定性来减少这种噪声