SSL论文笔记：FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence

Abstraction

两种常用半监督学习领域的方法组合：一致性正则和伪标签（更准确地是artificial labels）

FixMatch方法：

1. 首先利用模型在未标注数据的弱增强版本上生成一个伪标签；（只保留模型可以高置信度预测的伪标签）；

2. 然后训练该模型，以预测同一图像输入时的强增强版本时的伪标签

Contribution：

• SSL领域的SOTA结果
• 探索了extremely-scarce-labels的情况（一类一个样本），并根据实验结果创建了有趣的几组数据集（从无代表性到有代表性样本）
• 丰富的消融实验，并囊括了新SSL方法提出时很少提及的基础实验选择（如优化器和学习率策略）

个人觉得其有效的两个原因：

• strong data augmentation
• ignoring low-confidence predictions

FixMatch

Algorithm

主要创新性来自于一致性正则和伪标签两种成分的结合，以及在执行一致性正则化时分别使用弱和强增强。

监督损失${\ell }_s$和无监督损失${\ell }_u$都是CE损失：
$${\ell }_s=\frac{1}{B}$$