PSI和CSI是对评分卡主模型分数以及入模变量进行监控的一大利器,它们不仅可以实时反映模型的稳定性,也可以快速发现问题,定位问题(客群变化引起、变量变化引起等),从而找到有效的解决方案。
PSI指标
PSI定义:群体稳定性指标PSI(Population Stability Index)是衡量模型的预测值与实际值偏差大小的指标;稳定度指标可衡量测试样本及模型开发样本评分的分布差异,为最常见的模型稳定度评估指标。其实PSI表示的就是按分数分档后,针对不同样本,或者不同时间的样本,population分布是否有变化,就是看各个分数区间内人数占总人数的占比是否有显著变化
PSI公式:PSI = sum((实际占比-预期占比)* ln(实际占比/预期占比))
PSI < 0.1 模型稳定性很高。
PSI 0.1<= psi < 0.2 模型一般,需要进一步研究
PSI >0.2 模型稳定性差,建议修复
例如:
一个模型需要统计评估其稳定性,对其进行客户分组,统计各个分组客户量的稳定性。以验证模型是否合适。
具体步骤如下:
第一步:统计总进件量X
第二步:将总进件量按区间统计出各区间量
第三步:计算各区间占比(本区间数/总进件数),即实际占比
第四步:根据模型输出期望占比
第五步:计算各个区间psi并最终进行求和。
整理输出的最终报表样式(类似)
注:时间跨度越大,模型psi越不稳定。
参考:
原文链接:https://blog.csdn.net/liuliuliuliumin123/article/details/84664651
原文链接:模型稳定度指标PSI与IV - 光彩照人 - 博客园
二、AUC和ROC
三、模型稳定性 KS