风控建模八：搭建模型监控体系

1、模型监控的目的及框架结构

实际业务中，对于一个正在线上使用的模型，能够实时把控模型的稳定及效用是至关重要的，所以，我们需要一套完善且及时的模型监控系统来帮助我们全面掌握模型的动态，及时定位模型问题。为达到这个目的，我们的模型监控系统大致可以分为两大部分：前端和后端。简单来说，前端监控系统实时监控模型分布的整体稳定性，后端监控系统实时了解模型效果的稳定性。下面我们来看一下前后端监控系统具体都需要把握哪些维度的信息。

2、前端监控

进件量与模型分稳定性

一套完善的监控系统中，我们首先要把握的就是样本量是否充足，毕竟我们所有的统计指标，都需要一个较大样本的前提，否则就不具备统计意义。而在指标方面，我们首先要把握的就是整体模型分分布的稳定性，因为这和我们的业务稳定直接相关，如果模型分整体的分布有很大变动，将直接导致整个客群通过率的大幅波动，客群质量就很难得到有效、稳定的把控。所以前端监控第一幅图我们选择如下，其中柱状图表示以天为单位，当日的进件客户数，红色线表示当日模型在所有人群上打分的均值，通过观测红色线走势的稳定性，我们就能整体把控当日的模型打分是否基本稳定，而进件人数的同步展示则很方便地说明，当模型均值出现较大波动时，不一定就是模型本身出了问题，而有可能是业务大幅收量或暂停所导致的。

模型分分布稳定性：PSI

衡量模型打分稳定性，不仅仅可以通过均值来反映，我们有一个更专业，更常用的指标：PSI。所以，前端监控的第二幅图我们选择模型打分PSI监控图，图中出现的两条线，分别代表当日模型分与前一日模型分的PSI、当日模型分与基准日模型分的PSI。基准日可以选择模型上线的第一天，也可以选择模型训练样本的第一天，其最终的目的就是为了衡量当日模型与最开始相比，分布是否有很大差异。PSI这样一个量化指标，不仅仅可以用来展示，也可以作为稳定性的预警指标，比如在进件量充足的前提下，我们可以把时间粒度细化到小时，逐小时计算模型分与上一