机器学习备忘录 | AUC值的含义与计算方法

引言

在机器学习领域，AUC值经常用来评价一个二分类模型的训练效果，对于许多机器学习或者数据挖掘的从业者或在校学生来说，AUC值的概念也经常被提起，但由于大多数时候我们都是借助一些软件包来训练机器学习模型，模型评价指标的计算往往被软件包所封装，因此我们常常会忽略了它们的具体意义，这在有些时候会让我们对于手头正在进行的任务感到困惑。笔者也曾遇到类似的问题，因此希望借由本文来梳理下AUC值的意义与计算方法，通过实际的例子帮助读者加深理解，同时给出了使用scikit-learn工具库计算AUC值的方法，供各位参考。

定义

AUC的全称是Area under the Curve of ROC，也就是ROC曲线下方的面积。这里出现了另一个概念，就是ROC曲线。那么ROC曲线是个什么东西呢？我们参看下维基百科上的定义：在信号检测理论中，接收者操作特征曲线（receiver operating characteristic curve，或者叫ROC曲线）是一种坐标图式的分析工具，用于 (1) 选择最佳的信号侦测模型、舍弃次佳的模型。 (2) 在同一模型中设定最佳阈值。这个概念最早是由二战中的电子工程师和雷达工程师发明的，用来侦测战场上的敌军载具。概括来说，可以把ROC曲线理解为一种用于统计分析的图表工具。