TPAMI 2024 | 弱监督 AUC 优化：一种统一的部分 AUC 方法

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

题目：Weakly Supervised AUC Optimization: A Unified Partial AUC Approach

弱监督 AUC 优化：一种统一的部分 AUC 方法

作者：Zheng Xie; Yu Liu; Hao-Yuan He; Ming Li; Zhi-Hua Zhou

---

摘要

由于获取完美的监督信息通常很困难，现实世界中的机器学习任务经常面临不准确、不完整或不精确的监督，统称为弱监督。在这项工作中，我们提出了 WSAUC，一个用于弱监督 AUC 优化问题的统一框架，涵盖了噪声标签学习、正-无标签学习、多实例学习和半监督学习场景。在 WSAUC 框架中，我们首先将各种弱监督场景下的 AUC 优化问题框定为在污染集上最小化 AUC 风险的常见公式，并证明经验风险最小化问题与真实 AUC 风险一致。然后，我们引入了一种新型的部分 AUC，即反向部分 AUC (rpAUC)，它作为在存在污染标签情况下的鲁棒训练目标。WSAUC 通过最大化经验 rpAUC 为各种弱监督场景中的 AUC 优化提供了通用解决方案。理论和实验结果在多种设置下支持了 WSAUC 在各种弱监督 AUC 优化任务中的有效性。

关键词

• AUC 优化

• 部分 AUC

• 弱监督学习

I. 引言

ROC 曲线（受试者工作特征曲线）通过展示不同阈值下模型的真阳性率 (TPR) 与假阳性率 (FPR) 的变化来描述分类器的性能。它被广泛用于军事、生物、医学等领域。在机器学习中，ROC 曲线下的面积 [1]，[2]，[3]，[4]，通常称为 AUC，常用作衡量模型分类能力的标准，而无需显式设置阈值。实际上，AUC 对类别不平衡问题具有鲁棒性，并有效地描述了模型的排序能力。这种实用性使得 AUC 优化 [4]，[5] 成为构建高 AUC 性能模型的常见解决方案。通过优化 AUC，模型可以更好地处理不平衡数据并提高排序性能。AUC 优化研究涵盖了从有效的批优化 [6]，[7] 到在线优化 [8]，[9]，[10]，理论性质 [11]，[12]，以及与深度学习结合等主题 [13]，[14]。

最近，研究者们开始关注部分 AUC (pAUC)，因为某些任务中，只有特定范围内的 TPR 或 FPR 是有意义的 [15]。已经提出了两种主要变体，即单向部分 AUC (OPAUC) [15] 和双向部分 AUC (TPAUC) [16]，随后还研究了这些指标的高效优化方法 [17]，[18]，[19]。研究表明，部分 AUC 在许多现实任务中是有用的，包括基因检测 [20]，语音处理 [21] 等。

尽管 AUC 优化取得了成功，但大多数研究都集中在从干净数据中学习。然而，在实际学习任务中，收集足够的干净数据通常是困难的，因此有必要研究在弱监督学习 (WSL) 背景下的 AUC 优化 [22]。常见的弱监督学习范式包括半监督学习 [23]，正-无标签学习 [24]，噪声标签学习 [25]，多实例学习 [26]，等等。根据 [22]，这些范式可以归类为从不完整、不准确或不精确的监督中学习。

由于 AUC 风险的成对公式，面向准确性的弱监督学习方法不能轻易适用于 AUC 最大化。因此，弱监督下的 AUC 优化需要专门的研究。目前，该领域的研究相对有限，主要集中在半监督学习 [27]，[28]，[29] 和噪声标签学习 [30]。虽然这些研究关注特定的 WSL 场景，但迄今为止还没有研究提供对一系列弱监督 AUC 优化问题的全面理解。

在这项工作中，我们提出了 WSAUC，一个用于弱监督 AUC 优化问题的统一框架。该框架提供了对多种 WSL 场景的统一视角，包括 (1) 噪声标签学习，(2) 正-无标签学习，(3) 多实例学习，(4) 有或无标签噪声的半监督学习。在 WSAUC 框架中，我们首先将不同类型的弱监督 AUC 优化问题统一为一种形式，即带有污染标签的 AUC 优化。通过在各种场景下正确构建弱监督 AUC 风险，证明了经验风险最小化 (ERM) 问题与真实 AUC 风险一致，从而可以用统一的解决方案来解决这些问题。

为了减轻 WSAUC 统一公式中污染的影响，我们提出了一种新型的部分 AUC，称为反向部分 AUC (rpAUC)。我们展示了最小化经验 rpAUC 风险（或 rpAUC 最大化）与噪声标签学习中常用的鲁棒训练方法之间的联系，这表明最小化经验 rpAUC 风险可以实现带有污染标签的鲁棒 AUC 优化。这种方法可以容易地与 AUC 优化的 ERM 问题相结合，并可以通过稍微修改现有的 pAUC 最大化算法来简单地实现。基于 rpAUC，WSAUC 框架为各种弱监督场景中的 AUC 优化提供了统一的方法。我们通过不同的 WSL 设置下的实验评估了 WSAUC 框架，并得出了其有效性的结论。

本文其余部分组织如下：我们首先在第 II 节讨论相关工作，然后在第 III 节介绍预备知识。在第 IV 节中，我们提出了弱监督 AUC 优化的统一视角，接着在第 V 节进行理论分析。在第 VI 节中，我们介绍了一种用于鲁棒 AUC 优化的新型 rpAUC 概念。实验结果在第 VII 节中展示。最后，第 VIII 节总结了未来的工作。

III. 预备知识

在监督学习中，我们提供一个包含已标记数据的数据集，该数据集从某个分布中采样，即：

。

为方便起见，我们将 中的正、负数据子集分别表示为：

，和

，

因此 。

令 为一个期望对正实例输出较大分数而对负实例输出较小分数的模型。给定分类阈值 ，我们定义模型的真阳性率 ，和假阳性率 。当 变化时，ROC 曲线（受试者工作特征曲线）绘制模型 的 与 ，如图 1(a) 所示。AUC 定义为 ROC 曲线下的面积：

由于 等同于随机抽取的正实例排在随机抽取的负实例之前的概率 [1]，[2]，[3]，模型 的 可以表述为：

这里 。为了避免引起歧义，我们将这里的 表示为 。最大化 等同于最小化以下 AUC 风险。为避免混淆，我们将真实 AUC 风险称为 AUC 风险，因为它衡量的是正实例排在负实例之前的错误率：

在实践中，我们通常解决以下带有限样本的经验风险最小化 (ERM) 问题：

最近，研究者发现部分 AUC () 对某些应用很有用。部分 AUC 聚焦于 ROC 曲线下的特定部分。有两种 变体：单向 (OPAUC [15], 见图 1(b))，限制 在 范围内；双向 (TPAUC [16], 见图 1(c))，限制 和 。本文中，我们聚焦于双向 。其公式如下：

，

其中 和 是困难实例，即，得分较低的正实例和得分较高的负实例。在第 VI 节中，我们开发了一种 TPAUC 的变体，即反向部分 AUC (rpAUC)，以实现弱监督下的鲁棒 AUC 优化。

IV. WSAUC 的统一视角

A. 统一公式

弱监督 AUC 优化的统一视角可以基于带有不同类别比例的两个污染实例集最小化 AUC 风险的问题进行公式化。这个学习问题也可以称为无标签-无标签学习，专注于构建具有最少监督的分类模型，即，具有不同类别先验的两个无标签实例集。假设我们有两个污染实例集 和 ，它们可以被视为从带有不同比例的正负分布的混合分布中抽取的样本：

；

，

在不失一般性的情况下，这里我们假设 。定义在分布 和 上的 AUC 风险为：

，

其中 是 的简写。然后，通过解决经验风险最小化 (ERM) 问题可以获得模型：

这个优化问题类似于将两个集都视为正负实例集，而没有考虑它们的杂质。然而，可以证明，带有杂质的 AUC 风险可以以统一公式重写，通过线性变换可以获得真实风险。

定理 1（统一公式）： 带有两个污染分布 和 的杂质 AUC 风险 可以重写为统一公式：

，

其中偏置项 。基于这个公式，可以通过线性变换从 获得真实风险 。

证明： 对于任何 ，我们可以将风险重写为：

。

这完成了证明。

推论 2（不准确情况的一致性）： 在上述描述的 AUC 优化问题中，假设 是带有污染分布 和 的杂质 AUC 风险 的最小化器，即 ，则 也是真实 AUC 风险 的最小化器，即 与 一致。

证明： 根据定理 1，对于任何 ，我们有：

，

其中 。因此，对于任何 ，

因为 且 是 的最小化器。这证明了 也是 的最小化器。

在本节的其余部分，我们将展示不同弱监督 AUC 优化问题如何与此统一公式相关联。这提供了一种简单的方法，通过采用任何成对风险最小化算法来处理几乎所有常见弱监督 AUC 优化任务。概述见表 I。

值得注意的是，在优化准确性时，需要知道分布的混合比例（即 和 ）以校正估计偏差并实现一致性。然而，在 AUC 优化中，即使不知道混合比例，我们也可以保持统计一致性。然而，污染的存在仍然会对有限数据的模型学习产生影响，这在 (9) 中的系数 中体现。直接解决上述优化问题可能在实例集污染显著时不太鲁棒。在第 VI 节中，我们通过最小化新型部分 AUC 的经验风险来解决这一问题。

B. 常见情况的特化

1) 噪声标签 AUC 优化

我们首先讨论标签噪声下的 AUC 优化，这是不准确监督最常见的情况。在具有标签噪声的二分类中，实例标签可能以某一概率翻转。考虑两类的非对称噪声，正实例可能以 的概率被错误标记，负实例可能以 的概率被错误标记。

这种噪声标签 AUC 优化问题可以通过将噪声率设置为混合比例轻松转换为 (7) 中定义的问题：

；

。

带有噪声标签学习的问题可以视为带有两个污染集或无标签-无标签学习的问题变体。两种问题公式的区别在于，噪声标签学习假设噪声率为 ，而类别先验在有无噪声情况下保持不变。没有这种假设，边际分布 可能会改变，这需要在协变量偏移假设下处理问题。

通过简单地将两个噪声分布替换为 (7) 中的 和 ，我们获得噪声 AUC 风险：

并且设 和 ，很容易证明以下推论：

推论 3： 与真实分布上的 AUC 风险 一致，并且

，

。

这表明噪声 AUC 风险仍然与干净 AUC 风险一致。实际上，我们可以通过最小化以下经验风险来解决 ERM 问题：

2) 正-无标签 AUC 优化

接下来我们讨论正-无标签 AUC 优化，其中仅有一个类的监督信息可用。假设正类和负类的潜在类别先验概率分别为 和 ，在这种情况下，带有正标签的实例可以视为一个纯正集 ，其中 ，而无标签数据包含一个污染集 ，其中 。然后两个集可以表述为：

，和

。

然后我们定义在正集和无标签集上的 P-U AUC 风险：

。

并且很容易证明：

推论 4： 正-无标签 AUC 风险 与真实 AUC 风险 一致，并且

。

这种公式通过将无标签数据视为负数据，将正-无标签 AUC 优化问题与噪声标签情况连接起来。实际上，我们通过最小化以下经验风险来解决正-无标签 AUC 优化问题：

3) 多实例 AUC 优化

我们展示了如何将我们的统一视角应用于多实例 AUC 优化，这是一个具有不精确、包级监督的学习问题。在这种情况下，我们有一组正包 和一组负包 。每个正包 至少包含一个正实例，而负包 则不包含正实例。按照之前研究的公式，我们认为出现在负包中的实例是从纯负分布 中抽取的，而出现在正包中的实例是从某种带有一定比例 和 的正负分布的混合分布 中抽取的。然后在正包实例和负包实例上的 AUC 风险可以定义为：

。

推论 5： 多实例 AUC 风险 与真实 AUC 风险 一致，并且

。

上述推论为我们处理多实例学习中的 AUC 优化提供了一种方法。实际上，我们需要通过将实例包合并来首先构建实例集 和 ：

，

然后解决以下 ERM 问题：

这种方法在实例级别产生分数。为了获得包级别的分数，可以简单地计算包中实例分数的最大值。

4) 半监督 AUC 优化

在有限标记数据和相对大量无标签数据中构建模型是半监督学习中的常见场景。与之前的情况相比，数据可以根据其标签分为三组：

，

，和

。

对称于 P-U AUC 风险 (12)，我们可以定义在无标签和负数据上的 U-N AUC 风险：

。

通过结合三组数据中的每两个，我们有三个风险项：，和 。最小化每个风险项对应于 (8) 形式的子问题。然而，使用无标签数据计算的风险项，即 和 ，是有偏的。接下来，我们将展示，通过适当结合所有三个项，即使不知道类别先验，也可以保持无偏性，同时在学习过程中充分利用无标签数据。

首先，可以证明，通过结合 P-U AUC 风险和 U-N AUC 风险，总和风险即使在不知道类别先验的情况下，也能提供无偏风险估计 [29]。

定理 6： 和 之和与真实 AUC 风险 一致，且偏差始终为 。

。

证明： 对于任何 ，我们有

。

因此我们得出定理。

这也表明，在半监督场景中，通过减去 可以实现无偏 AUC 风险估计，而无需知道类别先验。

其次，为了充分利用数据以减少估计方差，而不是直接通过 ERM 最小化 (18)，我们定义以下风险：

，

其中 是权重系数。

要计算经验风险 ，我们需要将实例集对上的成对损失相加：，和 。由 (R_{PU} + R_{UN}) 引入的偏差始终为 1/2，可以通过从经验风险中减去它来补偿。这样，经验风险 成为真实 AUC 风险的无偏风险估计。在实际操作中，是否补偿偏差不会影响模型的训练，因此我们可以简单地忽略它。

5) 带有标签噪声的半监督 AUC 优化

我们进一步考虑可用监督信息不准确且不完整的场景。此类情况通常涉及从相对少量不准确标记的实例和一组无标签实例中学习。令 和 分别表示正标签和负标签出错的概率，和 分别表示真实分布的类别先验概率，其中 。值得注意的是，我们不需要知道这些值。实例可以分为三组：带有噪声的正集 ，带有噪声的负集 和无标签集 。

类似于前面的情况，通过结合噪声版本的 P-U AUC 风险和 U-N AUC 风险，总和风险得出与噪声情况相同的衰减系数。

推论 7： 和 之和与真实 AUC 风险 一致。

，

。

为了减少风险估计的方差，我们定义以下风险：

。

并且可以像前面的半监督情况一样解决 ERM 问题。

6) 小结

在本节中，我们展示了各种弱监督 AUC 优化问题场景可以通过最小化实例集对上的一个或多个 AUC 风险项的和或加权平均来解决。这种类型的优化问题可以通过向标准成对 AUC 优化算法中引入额外的实例对轻松解决。讨论的设置总结在表 I 中。在第 V 节中，我们介绍了框架的理论分析。在第 VI 节中，我们进一步提出了问题的鲁棒学习解决方案。

V. 理论分析

在本节中，我们对提出的风险函数进行理论分析，这些风险函数与真实分布上的 AUC 风险一致。简而言之，我们（1）证明了通用情况和不准确及不完整情况的超额风险界限，这些界限可以轻松应用于上述讨论的所有 WSL 场景；（2）讨论了不完整监督学习场景的方差减少，表明通过引入无标签数据，可以实现更好的低方差风险估计。

这里，我们考虑 上的一个核 ，一个严格为正的实数 。令 为一类函数：

，

其中 。我们还假设替代损失 是 -Lipschitz 连续的，由严格为正的实数 有界，并满足不等式 。例如，平方损失和指数损失满足这些条件。

A. 超额风险

在这一部分中，我们证明了最小化所提出风险函数时的超额风险界限。

用 表示经验风险 的最小化器，我们引入以下超额风险界限，表明 的风险收敛到函数族 中的最优决策函数的风险。

定理 8（通用情况的超额风险）： 假设 是经验风险 的最小化器，是真实风险 的最小化器。对于任何 ，以至少 的概率，我们有：

，

其中 ，且 为采样污染实例集的大小。

证明： 令 表示 的线性变换以估计 ，且 表示其经验估计。优化 的超额风险可以写为：

。

根据定理 1，右项可以写为：

。

根据 [94] 的定理 6，对于任何 ，以至少 的概率，对于任何 ：

，

其中 。为方便起见，我们定义：

。

因此我们有：

。

将 (22) 和 (24) 应用于 (21) 右项，我们得到定理。

定理 8 保证了通用情况的超额风险可以被有序项界限加上置信项：

。

用 表示经验风险 的最小化器，类似地，我们有一个定理，表明 的风险收敛到函数族 中的最优决策函数的风险。

定理 9（不准确和不完整情况的超额风险）： 假设 是经验风险 的最小化器，是真实风险 的最小化器。对于任何 ，以至少 的概率，我们有：

，

其中 ，为采样污染实例集的大小。

证明： 令 表示 的线性变换以估计 ，表示其经验估计。

类似于 (21)，优化 的超额风险可以写为：

。

根据推论 7，右项可以写为：

。

分别用 替换为 ，，在 (24) 中，对于任何 ，以至少 的概率，对于任何 ：

，

，

。

简单计算表明，对于任何 ，以至少 的概率，我们有：

。

将 (26) 和 (24) 应用于 (25) 的右项，我们得到定理。

定理 9 保证了不准确和不完整情况的超额风险可以被有序项界限加上置信项：

。

可以看出，定理 9 在 时退化为定理 8。

B. 方差减少

显示了我们提出的经验风险估计器是无偏的，且超额风险可以被界限。类似于 [28]，接下来的问题是，在不完整场景中，即当 时，的方差是否小于 ，或者 是否有助于减少估计 的方差。为回答这个问题，选择任意感兴趣的 。为简洁起见，我们假设 ，以说明可能实现的最大方差减少。

方差和协方差定义如下：

，

，

，

，

，

。

然后可以得到以下定理：

定理 10： 假设 ，对于任何固定的 ，如下成立：

。

证明： 通过基本计算，方差可以写为：

。

应用 (28) 和 (29) 到定理中。

可以看出，尽管我们向风险估计器中引入了更多实例对，是否减少方差仍取决于成对协方差项。在实践中，观察到对于某些 ，经验风险的方差可以在一定程度上减少，这在我们的实验中得到了验证。

VI. 一种鲁棒的 AUC 优化方法

在本节中，我们解决了弱监督 AUC 优化中的实际挑战：污染对有限样本性能的影响。虽然 AUC 优化的统一公式可以与真实 AUC 风险保持一致，但在训练期间，显著的污染会对模型性能产生负面影响。为减轻这一问题，我们提出了一种基于新型部分 AUC，即反向部分 AUC (rpAUC) 的鲁棒 AUC 优化方法。

A. 反向部分 AUC (rpAUC)

1) 动机和定义

部分 AUC (pAUC) 已被提出以专注于 ROC 曲线的特定区域，这在仅关注某些 FPR 或 TPR 范围有意义的应用中非常有用 [15], [16]。在这项工作中，我们提出了一种反向部分 AUC (rpAUC) 作为一种鲁棒训练目标，以减轻污染的影响。与传统的 pAUC 关注 ROC 曲线的特定范围不同，rpAUC 专注于最具挑战性的实例，即得分最低的正实例和得分最高的负实例。这种方法背后的原理是，这些困难实例不太可能受到标签噪声的影响，可以为 AUC 优化提供更可靠的监督信号。

形式上，令 表示得分最低的正实例子集，表示得分最高的负实例子集，这些子集的比例由参数 控制。rpAUC 定义为这些困难实例上的 AUC：

，

其中 和 。通过专注于最具挑战性的实例，rpAUC 可以在存在污染标签的情况下提供更鲁棒的训练信号。

2) 与鲁棒训练方法的关系

rpAUC 公式与噪声标签学习中常用的鲁棒训练方法（如小损失技巧 [36]，[37]，[38] 和动态阈值 [39]）具有相似的机制。这些技术移除或降低了引起高风险实例的权重，属于样本选择在噪声标签学习中的应用 [40]。我们展示了 rpAUC 可以与这些方法相关联，并且可以容易地与 AUC 优化的经验风险最小化问题结合。

例如，考虑小损失技巧，它选择损失最小的实例用于训练。这种方法可以看作是专注于最具挑战性的实例，类似于 rpAUC。通过最小化经验 rpAUC 风险，我们可以在存在污染标签的情况下实现鲁棒的 AUC 优化。

B. 算法和实现

基于 rpAUC，我们提出了一种用于弱监督学习的鲁棒 AUC 优化算法。该算法遵循简单的两步过程：（1）基于当前模型分数识别最具挑战性的实例，（2）优化这些实例上的 rpAUC 风险。

1) 识别挑战性实例

给定模型 和训练集 ，我们首先按分数升序排列正实例，并按分数降序排列负实例。然后我们选择最高 比例的正实例和最高 比例的负实例，形成子集 和 。这些子集代表当前模型最具挑战性的实例。

2) 优化 rpAUC 风险

一旦识别出挑战性实例，我们就使用任何成对风险最小化算法优化 rpAUC 风险。经验 rpAUC 风险可以定义为：

。

总体算法可以总结如下：

算法 1：使用 rpAUC 进行鲁棒 AUC 优化

1. 初始化模型 和训练集 。

2. 直到收敛：

3. 基于当前模型分数识别挑战性实例 和 。

4. 使用成对风险最小化算法优化 rpAUC 风险 。

C. 实验

我们在各种弱监督学习任务上评估了所提出的鲁棒 AUC 优化算法，包括噪声标签学习、正-无标签学习、多实例学习和半监督学习。实验结果展示了 rpAUC 方法在存在污染标签情况下提高 AUC 性能的有效性。

VII. 实验

在本节中，我们通过实验评估所提出的 WSAUC 方法在鲁棒弱监督 AUC 优化中的效果。我们在不同的 WSL 场景下将 WSAUC 与多个基线方法进行比较，以证明 WSAUC 提供了一种统一但有效的解决方案。此外，我们还在不同的噪声比率下比较了 rpAUC 和常规 AUC 作为训练目标，展示了在标签不完全干净时使用 rpAUC 的优势。

A. 实验设置

在各种弱监督学习场景下，我们使用常用的基准数据集进行实验。对于带有不准确或不完整监督的 AUC 优化，我们使用图像基准数据集 MNIST、FashionMNIST、CIFAR10 和 CIFAR100 合成多个具有不同任务设置的数据集。这些数据集被转换为二分类数据集，即 MNIST 的奇数与偶数，FashionMNIST 的上衣与下衣，CIFAR 数据集的动物与非动物。这种数据集转换在相关文献中被广泛使用，例如 [32]，[97]，[98]。对于带有不精确监督的 AUC 优化，我们采用了几个多实例学习数据集1，这些数据集在相关文献中常用，包括 Musk1、Musk2、fox、tiger 和 elephant。

我们的方法与多个基线方法进行比较，这些基线方法针对不同的问题设置设计，将在每个设置的后续小节中介绍。所有方法在适用时都使用相同的骨干网络和优化器实现。具体而言，对于 CIFAR10 和 CIFAR100 数据集，骨干网络是 Mini-VGG；对于 MNIST、FashionMNIST 和 MIL 数据集，骨干网络是一个具有一个隐藏层的简单全连接网络。基线方法的超参数通过网格搜索或根据其原始论文选择。WSAUC 的超参数 在所有任务中设置为 0.45。所有实验重复进行 10 次，以消除随机性的影响，并报告 AUC 性能和标准偏差。更多详细信息请参阅发布的代码。

B. WSAUC 在各种弱监督设置中的表现

1) 噪声标签 AUC 优化

对于噪声标签 AUC 优化，我们将 WSAUC 与几种用于 AUC 优化的噪声标签学习损失/方法进行比较：AUC-B [30]，一种基于障碍铰链损失的噪声 AUC 优化方法，被证明对标签污染具有鲁棒性。AUC-H、AUC-R、AUC-U 是 AUC-B 的变体，使用不同的替代损失函数：铰链损失、坡度损失和无铰链损失。DRAUC [99]，一种针对噪声和对抗样本的鲁棒自适应 AUC 优化模型。我们在标签噪声任务中比较了基线方法，噪声比率分别从 {20%、30%、40%} 中选择正数据和负数据的噪声比率，并测试了所有不同的正负比率组合，以展示在对称和不对称噪声下的性能。

结果如表 II 所示。结果表明，在简单数据集 MNIST 和 FashionMNIST 上，多种方法的性能接近，而 WSAUC 在具有挑战性的数据集 CIFAR10 和 CIFAR100 上实现了相对较大的改进。DRAUC 在 CIFAR 数据集上表现不稳定，这可能是由于生成模型假设在这些数据集上不成立。

2) 正-无标签 AUC 优化

我们在正-无标签 AUC 优化任务上比较了以下基线方法：PU-AUC [28] 和 SAMULTP+U [29]。PU-AUC 通过补偿无标签集中正数据引起的超额风险来最小化无偏 AUC 风险。SAMULTP+U 是 SAMULT 的简化版本，通过将无标签数据视为负样本来实现 PU AUC 优化。正-无标签任务对类别先验概率和标签比率非常敏感。因此，我们在正比例选择为 {20%、30%、40%}，标签比率选择为 {5%、10%} 的情况下测试了这些情况。我们将 WSAUC 与 PU-AUC 和 SAMULTP+U 进行比较，这些是 PNU-AUC 和 SAMULT 的变体。

结果如表 III 所示。可以观察到，WSAUC 在大多数数据集和场景中表现出优势，尤其是在标签比率相对较低时。这表明，当标记数据量较小时，WSAUC 的优势更大。

3) 多实例 AUC 优化

对于多实例 AUC 优化，我们将 WSAUC 与多标签学习方法进行比较：MI-SVM 和 mi-SVM [78]，两种基于边界的多实例学习方法。MissSVM [100]，一种使用半监督学习方法的方法，将正袋中的实例视为无标签数据。SIL [101]，一种从包标签中学习的多实例学习方法。多实例学习方法 sbMIL [102]，专为正袋稀疏情况设计。以及两种 MIDAM 的变体 [103]，这是一种基于平滑最大 (smx) 和注意力 (att) 池化的非凸最小最大优化的多实例 AUC 优化方法。由于从图像基准数据集中合成多实例任务具有挑战性，我们在几个广泛使用的多实例学习数据集上进行了实验，即 Musk1、Musk2、fox、tiger 和 elephant。AUC 基于实例袋的分数计算。对于 WSAUC，模型在实例级别进行训练，如前所述，袋分数预测为袋中实例分数的最大值。

结果如表 IV 所示。结果表明，WSAUC 与 miSVM、MISVM、MissSVM、SIL 和 sbMIL 相比实现了相对较大的改进。这可能是因为这些基线方法没有明确优化 AUC，这表明在多实例学习中，明确优化实例级 AUC 对于实现更好的包级 AUC 性能是有益的，鲁棒训练对多实例学习任务有帮助。与 MIDAM 相比，WSAUC 仍显示出显著的性能改进。这表明在多实例 AUC 优化中引入 rpAUC 的有效性。

4) 带有标签噪声的半监督 AUC 优化

据我们所知，没有现有的 AUC 优化方法同时使用无标签数据和带噪声标签的数据。因此，我们在半监督 AUC 优化任务中比较了以下基线方法：SAUC-LS [27]，一种使用新颖损失函数的半监督 AUC 优化方法，利用无标签数据。OptAG [27]，一种基于生成模型的半监督 AUC 优化方法。PNU-AUC [28]，一种结合无偏 PU 和 NU AUC 优化的半监督 AUC 优化方法，通过补偿在标记数据上估计的风险偏差来实现无偏 PU 和 NU 估计。SAMULT [29]，一种利用无偏风险估计的半监督 AUC 优化方法。除了展示在正常半监督设置（0% 噪声比率）下的性能外，我们还评估了在标记数据受到噪声影响的情况下的性能，噪声比率为 20% 或 30%。我们测试了标签比率为 {5%、10%} 的基线，以展示标记数据量的影响。

结果如表 V 所示。我们观察到，当数据无噪声时，WSAUC 在所有四个数据集上表现与 PNU-AUC 和 SAMULT 相似。然而，当标记数据既有限（5% 标签比率）又有噪声（20% 或 30% 噪声比率）时，WSAUC 大幅优于基线方法。这表明 WSAUC 在处理稀少和污染的标记数据时特别有用。在其他场景中，WSAUC 的表现与现有的最先进方法一样好。这样的结果表明，WSAUC 对标签不完整和不准确问题更加鲁棒。

C. rpAUC 与 AUC 作为训练目标的比较

为了支持我们关于 rpAUC 是弱监督 AUC 优化的鲁棒训练目标的观点，我们通过实验证明了在噪声比率变化时，rpAUC 相对于 AUC 作为训练目标的表现。优化常规 AUC 可以被视为优化 rpAUC 的简化版本，通过消除噪声实例对的移除步骤。我们按照第 IV-A 节的问题设置，变化 和 ，展示优化 rpAUC 相对于 AUC 的性能提升。

我们采用 CIFAR100 数据集，变化类别比例 和 在 [0.65, 1.0] 范围内，步长为 0.05。值越小，数据集中的噪声比率越高。使用 5% 的数据进行训练，以调查数据相对稀少时的算法性能。每个类别比例组合的实验重复 10 次。结果如图 2 所示。可以在图中观察到，当数据集干净时，最大化 AUC 或 rpAUC 产生相似的结果。随着噪声比率的增加，最大化 rpAUC 作为优化目标在训练过程中相较于最大化 AUC 显示出更大的改进。这一结果验证了 rpAUC 是一种更鲁棒的弱监督 AUC 优化训练目标。

D. 超参数敏感性

使用 rpAUC 需要两个超参数：FPR 阈值 和 TPR 阈值 。这些阈值分别决定了负数据（或 ）和正数据（或 ）中的过滤比例。为了研究它们如何影响模型性能，我们改变它们的值，展示模型性能的变化。

我们再次采用 CIFAR100 数据集进行实验，类别比例 和 都设置为 0.65。数据量缩减到 5%，以放大污染的影响。超参数 和 选择在 [0.65, 1.0] 范围内，步长为 0.05。结果如图 3 所示。

在图 3 中，缩写 "BL" 表示基线场景，其中 和 都设置为零。在这种情况下，rpAUC 退化为完整 AUC。结果显示，随着 和 的增加，模型性能始终超过基线情况，这表明相对随意的超参数值分配可以导致性能提升。当超参数接近真实比例（标注为 "TP"）时，测试 AUC 达到峰值，这与我们对最大化 rpAUC 的理解一致。当未知真实比例时，建议对 和 进行较大的估计。这在柱状图中得到展示，其中平均性能随着超参数超过真实比例逐渐下降。

VIII. 结论

在这项工作中，我们提出了 WSAUC，一个用于弱监督 AUC 优化的统一框架。该框架涵盖了各种弱监督学习场景，包括噪声标签学习、正-无标签学习、多实例学习和半监督学习。我们引入了一种新型的部分 AUC，称为反向部分 AUC (rpAUC)，作为在存在污染标签情况下的鲁棒训练目标。理论和实验结果展示了所提出方法的有效性。未来工作包括将该框架扩展到其他弱监督学习范式，并探索其在实际任务中的应用。

声明

本文内容为论文学习收获分享，受限于知识能力，本文对原文的理解可能存在偏差，最终内容以原论文为准。本文信息旨在传播和学术交流，其内容由作者负责，不代表本号观点。文中作品文字、图片等如涉及内容、版权和其他问题，请及时与我们联系，我们将在第一时间回复并处理。

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~