主动学习与自监督学习结合的方法（Active Learning+Self-Supervision）

本文介绍两篇最新的结合自监督学习和主动学习的方法。

1. PAL

PAL : Pretext-based Active Learning（论文，代码）中提出了一种基于池的主动学习方法，该方法依靠自我监督学习来减少对潜在错误标记数据的依赖，对训练数据的部分错误标记具有鲁棒性，但是对正确标记的数据的提升效果一般。

PAL的算法流程如下。可以看到在原本的分类网络训练$S_C$的迭代，增加了对自监督的训练$S_S$。

2. PT4AL

Using Self-Supervised Pretext Tasks for Active Learning（论文，代码）总体框架如下：未标记的样本按其接口任务损失进行分类，并分成批次。在每个主动学习迭代中，从一批中抽取数据点，并将其交给oracle进行标记。

抽取数据点的策略如下：

其实就是首先通过自监督学习获得每个样本的自监督损失，根据自监督损失排列划分batch，将每个batch输入到模型中，并且根据模型预测的置信度，选择置信度最小的N个样本，作为下一次循环中新标记的样本。