机器学习中常用的评估指标总结

1.精确率、准确率、召回率和F1分数

精确率、准确率、召回率和F1分数是机器学习中常用的评估指标，用于衡量分类模型的性能。

• 精确率（Precision）：在所有被模型预测为正类的样本中，实际上是正类的比例。Precision = TP / (TP + FP)
• 准确率（Accuracy）：在所有样本中，被正确分类的样本所占的比例。Accuracy = (TP + TN) / (TP + FP + FN + TN)
• 召回率（Recall）：在所有实际上是正类的样本中，被模型正确预测为正类的比例。Recall = TP / (TP + FN)
• F1分数（F1 Score）：是精确率和召回率的调和平均数，用于综合反映模型的精确率和召回率。F1 = 2 * Precision * Recall / (Precision + Recall)

2.ROC曲线

ROC曲线(Receiver Operating Characteristic Curve）：横坐标为false positive rate(FPR)，纵坐标为true positive rate（TPR）。

TPR = TP/P= TP/ (TP + FN)，代表 预测对的正实例 占 所有正实例 的比例，即代表将正例分对的概率，（或者说：实际为阳性的样本中，被正确地判断为阳性的比率）。

FPR =FP/N =  FP/ (FP + TN)，代表预测错的正实例 占 所有负实例  的比例，即代表将负类错分为正例的概率。（或者说：实际为阴性的样本中，被错误地判断为阳性的比率 ）。

ROC曲线点越接近左上角则代表预测正例出错的概率越低，准确性较高。

特点：ROC曲线不受样本类别不平衡问题的影响。样本不平衡问题不影响TPR和FPR，那么也就不会影响 ROC 曲线。

3.AUC

AUC（Area under Curve ）指的是 ROC 曲线下的⾯积，介于 0 和 1 之间。 AUC 可以直观地评价分类器的好坏，值越大越好。

4.KS值

KS值（Kolmogorov-Smirnov）是在模型中用去区分尝试正负样本分隔程度的评价指标。KS取值范围是【0,1】。通常值越大，表明正负样本区分度越好。

柯尔莫哥洛夫-斯米尔诺夫检验（Колмогоров-Смирнов检验）基于累计分布函数，用以检验两个经验分布是否不同或一个经验分布与另一个理想分布是否不同。

在模型构建初期KS基本要满足在0.3以上。后续模型监测期间，如果KS持续下降恶化，就要考虑是市场发生了变化所致，或者是客群发生了偏移，或者是评分卡模型不够稳定，或者是评分卡内的某个特征变量发生重大变化所致。如果KS下降至阈值之下，而无法通过重新训练模型进行修正的话，就要考虑上新的评分卡模型代替旧的版本。

5.PSI

PSI，群体稳定性指标(population stability index)
PSI = sum(（实际占比-预期占比）* ln(实际占比/预期占比) )

如果模型稳定，那在新数据上预测所得类概率应该与建模分布一致，这样落在建模数据集所得的类概率所划分的等分区间上的样本占比应该和建模时一样，否则说明模型变化，一般来自预测变量结构变化，通常用作模型效果监测。

一般认为PSI小于0.1时候模型稳定性很高，0.1-0.2一般，需要进一步研究，大于0.2模型稳定性差，建议修复。

参考：

AUC、KS值、PSI值理解-CSDN博客