第五篇：风控模型监控预警

目录

1、模型效果指标

2、评分分布表

3、模型稳定性趋势图

4、模型区分度趋势图

5、变量稳定性分析

6、业务效果指标（可选）

7、线上线下误差分析

---

智能模型由于特征更多、结构更复杂，因此需要持续的更新迭代，通常一个模型的生命周期为3-6个月，因而监控预警在智能模型中显得尤为重要。

监控报表的呈现形式可以一图表为主，方便相关人员快速了解模型现状。

1、模型效果指标

报表的开头可以是模型三大指标（AUC\KS\PSI）的总览，包括跨时段和跨产品线，能够让人们看清模型对于不同时间段和不同产品线下样本的预测能力。由于AUC和KS的计算依赖于贷后表现。因此指标总览这块只能计算满足表现期情况下最近一周/月的模型效果，PSI计算的是这段时间内样本和训练集样本模型的稳定性。

2、评分分布表

评分分布表主要反映了模型在最近一周/月内各个分数区间的样本占比，可以弥补第一项指标总览中由于表现期而导致近期效果无法监控到的问题。表中主要对比了当前模型评分分布和建模时点评分分布的差异（具体数据如建模样本占比、当前样本占比、PSI），如果发现评分有较大波动则需要重点关注，提前与业务侧沟通看是客群变化导致还是模型的效果发生衰退。

3、模型稳定性趋势图

由于表格没有办法展示一段时间内的模型效果，因此还需要折线图来预测人们看清楚模型在时间轴上的变化趋势，这里首先有稳定性的趋势图，横轴是周，纵轴是PSI，反映了模型稳定性随时间的变化。

4、模型区分度趋势图

除了稳定性趋势图之外，还可以绘制区分度（或者其他关键指标）趋势图，同样横轴是满足表现期的周，纵轴是KS（或者其他关键指标），如果KS持续低于阈值一段时间，就需要考虑模型迭代的事宜。

5、变量稳定性分析

除了上述模型方面的监控外，变量方面的监控也是必不可少的。通过观察重要变量的稳定性，可以帮助更好地解释模型不稳定的原因。变量稳定性可以从缺失率和PSI两个方面考虑。

6、业务效果指标（可选）

在实际业务场景中，只监控模型本身还是远远不够的，因为模型的线上效果和使用方式密切相关。在保证策略安全的条件下，可以考虑加入业务指标的监控，例如申请人数、通过人数、通过率、逾期率、召回率等。因为风控策略通常是在模型评分的基础上卡一个阈值，有的时候虽然模型评分整体发生偏移，但是在阈值条件下如果业务指标稳定的话，模型仍然是可以接受的。

7、线上线下误差分析

涉及离线数据服务化的模型，建议加入线上线下误差分析的模块，T+0或者T+1对线上模型服务进行监控，防止出现线上线下数据长时间对不齐的事故。这里要求线上模型服务必须把入参和出参以日志的形式保留下来，方便进行解析和验证。