还是Google research出品
论文:https://arxiv.org/abs/2001.07685
官方代码:https://github.com/google-research/fixmatch
主要贡献:(A+B=C的操作)
1.主要结合了pseudo label 和 consistency regularization(两种数据增强方式实现) 方法。
2.在cifar10 利用250个标签样本实现了94.93%,利用40个标签样本实现了88.61%的SOTA.
整个Fix Match过程图:
首先利用一张无标签样本分别进行“弱”增强(翻转、缩放)和“强”增强(CutOut、CTAugment、RandAugment),然后通过model得到预测标签,通过标准交叉熵损失计算损失。
注意:上述“弱“增强方式预测过程需要设定一个阈值,大于阈值的才计算loss,小于的就不计算。相当于在前期训练阶段中无标签样本损失可能一直是为0的。
算法过程:
为了得到最优超参数,该文章后面对超参做了大量的消融实验,比如学习率,衰减率、学习率衰减函数、标签样本与无标签样本比例、动量、优化器选择、伪标签中用的阈值,包括sharpen中的τ。
优化器:
学习率衰减函数:
数据比例、置信度阈值、sharpen、衰减率:
最后经过对比得出来的结果:
实验结果:
这篇论文干货太少了。。。。。。。。。不过作者还是做了很多大量的消融实验。。。