2022/3/3 伪标签论文

---

1. IJCV 2021 基于不确定性的自动阈值 【有代码】

任务：域适应语义分割
该方法属于半监督训练的方式。
思想：
并不是说为每个类设置一个阈值，而是给不同“不确定性”的伪标签样本对应的loss在训练时赋予了不同的权重（参见loss ${\mathcal{L}}_{rect}$）。 衡量的伪标签“不确定性”的指标，是双分类器的预测差异（使用KL散度）。

思考：
论文是关于域适应分割任务的，需要考虑FSL或者零样本中novel类的问题。

参考：

1. 【知乎】IJCV 2021 | 利用Uncertainty修正Domain Adaptation中的伪标签 PS: 留言中有很多细节的讨论，可以多看看。
2. arxive论文 官方版

博客中没提到的点
1.网络设计中，分类器添加了的dropout层，提升了最终性能。
猜测是类似于网络集成的作用。
2.测试时，结合了主分类器和辅助分类器的结果。也是一种信息互补的作用。
3.训练时，不使用source domain的数据。

---

2. ICCV 2021 基于不确定性的训练和打标签 【没代码】

任务：域适应语义分割
伪标签方法的问题

贡献：
该方法属于对抗域适应类的方法。

贡献1. 训练阶段，使用分类的思路来解决目标域的类别不平衡问题。思路是使用预测概率的熵定位不确定性高的类别（稀有类），在采样时提升稀有类的采样概率。但是没有给出计算出采样概率后如何采样每张图片。

贡献2. 测试阶段，利用熵作为不确定性提升伪标签正确率。假设预测的像素概率的熵符合双峰分布。但是高斯混合模型的参数使用EM算法估计并没有讲清楚。

评价
1.没有代码让人头疼。
2.实验很详细，值得参考

reference

1. 论文 Uncertainty-aware Pseudo Label Refinery for Domain Adaptive Semantic Segmentation
2. 补充文件：训练伪代码

---

3. ICLR 2021 基于不确定性的伪标签选择【有代码】

继续卡阈值，但是不仅仅卡正样本还卡负样本。不确定性是用MC Dropout方法得到的。

对于单标签分类，如果存在正的伪标签，用交叉熵loss，如果不存在正的伪标签，用
positive pseudo labels的loss函数：
${\mathcal{L}}_{CE}$