【机器学习笔记】模型评价指标整理

几种模型评价指标

1. 分类模型

1.1 准确率、召回率、精度、f1

TP：预测正确，预测为P，事实为P；
FP：预测错误，预测为P，事实为N；
TN：预测正确，预测为N，事实为N；
FN：预测错误，预测为N，事实为P；
准确率Accuracy = (TP + TN) / (TP + TN + FP + FN)；
召回率Recall = TP / (TP + FN)；
精度Precision = TP / (TP + FP)；
F1 = 2 * recall * precision / (recall + precision)；

1.2 AUC

tpr = TP / (TP + FN)；
fpr = FP / (FP + TN) ；
Roc曲线：将样本按照预测为正样本的概率从大到小排序，并逐一将样本的预测概率作为分类阈值，计算tpr与fpr，以(fpr, tpr)坐标形式作图；
AUC = ROC曲线下的面积；
AUC在0.5与1之间，认为模型预测能力较好；

1.3 KS值

fpr与tpr曲线：将样本按照预测为正样本的概率从大到小排序，并逐一将样本的预测概率作为分类阈值，计算tpr与fpr，以(threshold, tpr), (threshold, fpr)坐标形式作图；
KS值 = MAX(tpr - fpr)
KS值在0.4–0.7之间认为模型预测能力较好，过小认为存在欠拟合，过大认为存在过拟合；

1.4 PSI值

首先将模型预测概率值进行分箱，然后统计两个时期下在不同分箱中的样本占比；
psi = SUM(本期占比 - 上期占比) * ln(本期占比 / 上期占比)；
psi衡量模型稳定性，小于0.1认为模型稳定，大于0.1认为模型出现波动。

2. 回归模型

2.1 MSE、MAE

2.2 R2与调经后R2

拟合优度，越接近于1拟合越好。

3. 聚类模型

3.1 轮廓系数

首先对于簇内每一样本点i，计算到本簇其它样本点距离均值a(i)；
然后计算样本点i距离最近的簇b的距离b(i)；
轮廓系数S = SUM((b(i) - a(i)) / max(a(i), b(i)))
轮廓系数S取值-1到1之间，越大越好；