信用评分模型监控报告可以从观察期间的稳定度(前端监控报告)与表现期间的鉴别度(后端监控报告)两个方面对各项指标进行监控。
目录
一、前端监控报告
1.1 评分分布表(SDR)
1.2 群体稳定度指标(PSI)
1.3 变量稳定度分析
1.4 人工否决分析
1.5 数据输入错误率分析
1.6 产品大事记
二、后端监控报告
2.1 好坏客户评分分布表
2.2 母体鉴别度分析
2.3 变量鉴别度分析
2.4 好坏概率与评分分析
2.5 人工否决表现分析
一、前端监控
前端监控报告可以在模型上线后一个月开始执行,目的是观察申请客户或者近期客户的类型与模型开发样本是否一致,避免客群发生剧烈波动而导致模型失效的情况发生。
评分分布表
评分分布表是统计各个评分组别的评分客户数及其占全体户数的比率。上图中,开发样本中500-549组别中客户占比为1.48%,而现行客户中此组别占比为2.53%,左右两列对比观察发现“高评分组别占比减少,且客户占比向低评分组别移动”,其具体原因需要根据变量稳定度分析来进行更详细的分析。评分分布表也可以采用条形图的方式,更加直观清晰。
群体稳定度指标(PSI)
群体稳定度指标是用来衡量整体评分卡在开发样本时点与现行评分时点的客户占比的差异程度,PSI越小表示越稳定。
一般PSI小于0.1说明群体之间无明显变化,较为稳定;PSI大于0.25说明群体之间有显著变化,需要进行评分模型的调整;介于0.1-0.25之间说明有波动,需要密切观察稳定性。
PSI的公式为:
P S I = ∑ i = 1 n ( 现 行 占 比 − 开 发 占 比 ) ∗ l n ( 现 行 占 比 / 开 发 占 比 ) PSI=\sum_{i=1}^n(现行占比-开发占比)*ln(现行占比/开发占比) PSI=i=1∑n(现