AUROC
全称:Area Under the Receiver Operating Characteristic Curve
它是一种用于评估二分类模型性能的统计量,特别是在机器学习和数据挖掘领域。它展示了在不同阈值设置下,分类器的真正例率(True Positive Rate, TPR)与假正例率(False Positive Rate, FPR)之间的关系。真正例率是指模型正确预测为正例的比例,而假正例率是指模型错误预测为正例的比例。AUROC值的范围从0到1,值越高表示模型的分类性能越好。一个完美的分类器的AUROC值为1,而一个随机猜测的分类器的AUROC值接近0.5。AUROC值的一个优点是它不依赖于分类阈值的选择,因此可以用来比较不同模型的性能,即使它们的输出概率分布不同。
AUPR
全称:Area Under the Precision-Recall Curve
精确率-召回率曲线下的面积。这个指标用来衡量分类模型在不同阈值下的表现,特别是在正负样本不平衡的情况下。在二分类问题中,我们通常可以得到一个概率值或打分值,该值表示一条数据属于正类的概率大小。为了得到分类结果,我们需要设置一个阈值,当数据的预测概率大于该阈值时,我们将其归类为正类,否则归类为负类。在这个阈值的选择上,往往会影响到模型的精确率(Precision)和召回率(Recall)。
精确率(Precision)是指在所有被预测为正类的样本中,实际为正类的比例,它关注的是预测为正类的准确性。召回率(Recall)是指在所有实际为正类的样本中,被正确预测为正类的比例,它关注的是对正类样本的覆盖程度。
AUPR是通过以下步骤计算的:
- 对于不同的分类阈值,计算模型的精确率和召回率。
- 将这些精确率和召回率值绘制在二维坐标系中,召回率作为横轴(x轴),精确率作为纵轴(y轴)。
- 通过这些点绘制出一个曲线,即精确率-召回率曲线(PR曲线)。
- 计算这个曲线下的面积,即为AUPR值。
AUPR值越高,表示模型在精确率和召回率之间取得了更好的平衡,尤其是在正样本较少的情况下,AUPR是一个比AUROC(Area Under the ROC Curve)更敏感的性能指标。