【阅读】One-bit Active Query with Contrastive Pairs

如何以更少的标签成本获得更好的结果仍然是一项具有挑战性的任务。在本文中，我们提出了一种新的主​​动学习框架，该框架首次将对比学习纳入最近提出的one-bit监督。这里one-bit监督表示关于模型预测正确性的简单 Y es 或 No 查询，并且比以前需要为查询样本分配准确标签的主动学习方法更有效。我们声称这样的one-bit信息本质上符合对比损失的目标，即将正对拉到一起并将负样本推开。为了实现这个目标，我们设计了一个不确定性度量来主动选择样本进行查询。然后根据查询结果将这些样本送入不同的分支。 Y es 查询被视为查询类别的正对，用于对比拉动，而 No 查询被视为硬负对，用于对比排斥。此外，我们设计了一个负损失来惩罚负样本远离不正确的预测类别，这可以被视为针对相应类别优化硬负样本。我们的方法被称为 ObCP，它产生了一个更强大的主动学习框架，并且在几个基准上的实验证明了它的优越性。

 传统的主动学习策略通常受到使用准确标签注释样本的限制，即一个样本属于哪个确切类别。虽然标注者很难记住和区分所有类别，尤其是当类别数量增加时，例如由 1K 个类别组成的 ImageNet。

贡献：

我们提出了一种新颖的主动学习框架，它首次将对比学习与one-bit监督相结合，并充分利用了监督信息。我们希望这样的框架能够阐明主动学习社区，并为未来的研究提供一个可能的方向

我们在几个广泛使用的图像分类基准上取得了显着的领先性能。尤其是在 ImageNet 上，在位信息方面只有 10% 的标签，ObCP 超过了之前甚至使用 30% 的标签的 state-of-the-art。

 我们首先概述所提出的主动学习框架。为了更好地理解，我们将整个过程分为两个阶段。该模型首先使用ground truth标签进行训练，对标记数据使用传统的交叉熵监督损失Lsup，对未标记数据使用原始对比损失Lctr，从而为下一个数据挖掘阶段生成预训练模型。然后如图 2 所示，一旦模型被初始化，我们使用所提出的不确定性估计标准，故意从未标记池中选择样本进行查询。主动学习过程只需要返回查询到的问题是否正确，我们记为onebit query。根据查询到的 Yes 或 No 结果，将样本送入不同的分支进行训练，即对于带有准确标签的 Yes 查询，我们将样本添加到有监督损失项 Lsup 和对比损失项 Lctr 中，对于 No 查询，我们将我们只知道样本不属于某个类别，我们将这些样本视为查询类别的硬负样本。这些样本用于两方面的训练，一方面，我们将它们纳入对比损失项 Lctr 并突出显示为查询类别的硬负样本，另一方面，我们设计了一个负损失函数 Lneg 来使这些样本远离 No queried 标签。总损失可以表示为：