干货！TPAUC指标的end-to-end 优化方法

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

近日，由阿里安全和中科院合作的论文《When All We Need is a Piece of the Pie: A Generic Framework for Optimizing Two-way Partial AUC》被ICML 2021以长文形式（中稿率3%）接收。ICML全称是International Conference on Machine Learning，是机器学习领域的top-2国际顶级会议，本次会议投稿了5513篇论文，共1184篇论文被接收，其中166篇论文为长文报告，录用率仅为3%。

该论文由中科院计算所智能信息处理重点实验室黄庆明教授团队、中科院信工所信息安全国家重点实验室、阿里巴巴图灵安全实验室等合作，第一作者为杨智勇。针对一些特定场景（比如AI鉴黄）下如何更好的对难样本进行挖掘和优化，论文首次提出了一种基于Two-way Partial AUC（TPAUC）优化的端到端深度学习通用框架，使得模型同时关注ROC曲线下的高TPR和低FPR部分的面积，从而保证模型具有更好的泛化能力。最后，相应的理论分析和实验证明了所提出方法的有效性。

杨智勇：

博士毕业于中国科学院信息工程研究所，导师为黄庆明教授，现为中国科学院大学博士后。目前主要的研究方向主要为AUC优化、多任务学习、机器学习理论。在ICML、NeurIPS、T-PAMI等CCF-A类期刊/会议发表一作论文7篇。担任ICML、NeurIPS、ICLR、AAAI、IJCAI等会议PC member；IJCAI 2021 senior PC member；T-PAMI、T-IP等国际期刊审稿人。曾入选博新计划、百度AI华人新星百强榜单，曾获百度奖学金全球20强提名奖、中科院院长特别奖、NeurIPS top 10% 审稿人等荣誉。

一、引  言

AUC是ROC曲线下的面积（Area Under the ROC Curve），如图1-(a), 作为一个性能度量指标，刻画了真阳性率(True Positive Rate (TPR))和假阳性率（False Positive Rate (FPR)）之间的关系，其数值正比于分类器在不同阈值下的平均性能。由于AUC的计算过程并不依赖于数据分布，因此在很多不平衡、长尾的业务场景（比如灾害预警、罕见事件检测、AI鉴黄等）下被广泛采用。注意到标准AUC包含了全部可能的TPR及FPR取值，而实际问题中并非所有的TPR、FPR取值范围都是有效的。实际上，由于TPR和FPR评估了模型性能的互补性，单一的保证高TPF或低FPR是无意义的(比如TPR>0.99但FPR>0.8的模型一般不具备实用价值)。因此，从这个意义上来说，需要给予ROC曲线下的左上半部分更多的关注，如图1-(c)，即TPR ≥ p, FPR ≤ q，我们称这种局部ROC面积为Two-Way Partial AUC (TPAUC) [4]。

图 1不同AUC计算方法

二、 研究难点与创新点

该研究的一大难点在于TPAUC优化目标函数不可微，无法进行端到端的训练。面对这一挑战，该研究首次提出了一个针对TPAUC优化的、端到端的深度学习通用框架。

其主要创新点如下：

将TPAUC优化问题重构为一个双层优化问题，其中内层提供了一个稀疏样本选择过程，外层最小化所选样本的损失。

提出替代惩罚函数和替代权重函数，并且在两类函数之间构造对偶对应关系。利用对偶关系可完成惩罚函数及替代权重之间的快速转换，使TPAUC替代优化框架变得更为灵活。

理论分析部分，构造目标函数替代问题达成原问题上界的一个充分条件，并证明优化本文所提出的代理问题可以以较高概率获得理想的TPAUC