在模型训练及验证之前,需进行好坏用户的划分,可通过有贷后表现根据阈值进行划分,其中坏用户定义为1,好用户定义为0,基于此对模型验证指标进行说明。
- 混淆矩阵(confusion matrix)
|
|||
1 | 0 | ||
|
1 | TP(true positive 预测正确的坏用户个数) | FP(false positive 预测错误的坏用户个数) |
0 | FN(false negative 预测错误的好用户个数) | TN(true negative 预测正确的好用户个数) |
- 敏感性
计算方式:
敏感性=TP/(TP+FN),即实际为坏人中预测正确的坏人占比;该值越大越好。 - 特异性
计算方式:
特异性=TN/(FP+TN),即实际为好人中预测正确的好人占比;该值越大越好。
注:对于平衡样本,单指标可衡量模型的准确性,对于非平衡样本,必须两个指标同时衡量才具有可信力。
-
精确率/查准率
计算方式:
精确率(Precision)=TP/(TP+FP),即预测为坏人中预测正确的坏人占比;