【数学建模】分类问题中的几种常见指标（二）——ROC曲线、AUC、对数损失

前言

上文中介绍了错误率、精度、准确率、召回率、F1值，除了上述指标，在分类问题的竞赛中还有以下更加常用的指标。
【数学建模】分类问题的几种常见指标（一）——准确率、召回率、F1值

1 ROC曲线

ROC 曲线（接受者操作特征曲线）是常用于度量分类中的非均衡性的工具。ROC 曲线用于绘制采用不同分类阈值时的 TP 率与 FP 率。降低分类阈值会导致更多样本被归为正类别，从而增加假正例和真正例的个数。下图中是一个经典的ROC曲线

ROC 曲线常被用来评价一个二值分类器的优劣，相比于上文的几个评价指标，ROC曲线有一个很好的特质。在实际的数据集中，经常会出现正负样本不均衡的现象，即负样本比正样本多很多（或者相反），而且测试集中正负样本的分布也可能随着时间发生变化。在上述情况下，ROC曲线能够保持不变。但是在竞赛中还有一个更为常用的评价指标，AUC。

2 AUC

在互联网的搜索、推荐和广告的排序业务中，AUC 是一个极其常见的评价指标。它定义为 ROC 曲线下的面积，，因为 ROC 曲线一般都处于 y=x 这条直线的上方，所以取值范围在 0.5 和 1 之间。之所以使用 AUC 作为评价指标，是因为 ROC 曲线在很多时候并不能清晰地说明哪个分类器的效果更好，而 AUC 作为一个数值，其值越大就代表分类器的效果越好。
值得一提的是 AUC 的排序特性。相对于准确率、召回率等指标，AUC 指标本身和模型预测的概率绝对值无关，它只关注样本间的排序效果，因此特别适合用作排序相关问题建模的评价指标。 AUC 是一个概率值，我们随机挑选一个正样本和一个负样本，由当前的分类算法根据计算出的分数将这个正样本排在负样本前面的概率就是 AUC 值。所以，AUC 值越大，当前的分类算法就越有可能将正样本排在负样本值前面，即能够更好地分类。

思考

在实际竞赛中，采用机器学习模型预测的结果一般都为一个概率值，所以必须得选定一个阈值来分出哪些样本预测为1，哪些样本预测为0。阈值的选择不同，准确率、召回率与 F1-score 的值就会不同，而 AUC 可以直接使用模型预测分数本身，参考的是相对顺序，更加好用。也就是帮助我们省去了人为试探阈值的麻烦。

3 对数损失

对数损失可以用于评价分类器的概率输出。对数损失通过惩罚错误的分类来实现对分类器的准确度的量化。最小化对数损失基本等价于最大化分类器的准确度。为了计算对数损失，分类器必须提供概率结果，即把输入样本喂入模型后，预测得到每个类别的概率值（0 和 1 之间），而不只是预测最可能的类别。对数损失函数 1 的函数标准形式见下式

对于样本点 (x,y) 来说，y 是真实标签，在二分类问题中，其取值只可能为 0 或 1。假设某个样本点的真实标签为 $y_i$，该样本点取 $y_i=1$ 的概率为 $y_p$，则该样本点的损失函数如下式所示

综上所述，对数损失主要是评价模型预测的概率是否足够准确，它更关注和观察数据的吻合程度，而 AUC 评价的则是模型把正样本排到前面的能力。
由于两个指标评价的侧重点不一样，因此根据不同竞赛的要求，所选择的评价指标就会不同。对于广告 CTR 预估问题，如果考虑广告排序效果，就可以选择 AUC，这样也不会受到极端值的影响。此外，对数损失反映了平均偏差，更偏向于将样本数量多的那类划分准确。

小结

至此在分类问题中常见的评价指标均已介绍完毕，通常来说，AUC 和对数损失比错误率、精度、准确率、召回率、F1-score 更常用，因为很多机器学习模型对分类问题的预测结果都是概率值，如果要计算上述这些指标，就需要先把概率转化成类别，这需要人为设置一个阈值，如果对一个样本的预测概率高于这个阈值，就把这个样本判到相应类别里面；如果低于这个阈值，则放进另一个类别里面。所以阈值的选取在很大程度上影响了分值的计算，不利于准确评价参赛者的模型效果，而使用 AUC 或者对数损失则可以避免把预测概率转换成类别的麻烦。