本文介绍了模型稳定性的重要指标PSI（群体稳定性指数），用于衡量模型预测值与实际值的偏差，以及模型在不同时间段内的稳定性。当PSI小于0.1时，模型稳定性高；在0.1到0.2之间，模型一般，需进一步研究；大于0.2则稳定性差。此外，还提到了AUC和KS作为其他评估模型性能的指标。通过这些工具，可以及时发现并解决模型中存在的问题。
PSI和CSI是对评分卡主模型分数以及入模变量进行监控的一大利器，它们不仅可以实时反映模型的稳定性，也可以快速发现问题，定位问题（客群变化引起、变量变化引起等），从而找到有效的解决方案。
PSI指标
PSI定义：群体稳定性指标PSI(Population Stability Index)是衡量模型的预测值与实际值偏差大小的指标；稳定度指标可衡量测试样本及模型开发样本评分的分布差异，为最常见的模型稳定度评估指标。其实PSI表示的就是按分数分档后，针对不同样本，或者不同时间的样本，population分布是否有变化，就是看各个分数区间内人数占总人数的占比是否有显著变化
PSI公式：PSI = sum（（实际占比-预期占比）* ln（实际占比/预期占比））
PSI < 0.1 模型稳定性很高。
PSI 0.1<= psi < 0.2 模型一般，需要进一步研究
PSI >0.2 模型稳定性差，建议修复
例如：
一个模型需要统计评估其稳定性，对其进行客户分组，统计各个分组客户量的稳定性。以验证模型是否合适。
具体步骤如下：
第一步：统计总进件量X
第二步：将总进件量按区间统计出各区间量
第三步：计算各区间占比（本区间数/总进件数），即实际占比
第四步：根据模型输出期望占比
第五步：计算各个区间psi并最终进行求和。
整理输出的最终报表样式（类似）
注：时间跨度越大，模型psi越不稳定。
参考：
原文链接：https://blog.csdn.net/liuliuliuliumin123/article/details/84664651
原文链接：模型稳定度指标PSI与IV - 光彩照人 - 博客园
二、AUC和ROC
三、模型稳定性 KS
624
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
