泰格:
士别三日当刮目相待,模型也一样,客流不断变化,特征的分布不断变化,模型的结果分布也会受到影响。所以在工业界中,对线上模型的监控是非常重要的。
概述
考察稳定性最好的办法就是抽取另一个时间窗口的数据(最好是最新时间的数据),通过模型在这些新数据上的表现来与之前在训练集和测试集上的表现进行比较,看模型的稳定性,其效果衰减幅度是否可以接受,如果条件许可,最好用几个不同时间窗口的数据分别进行观察比较。
公式
PSI = sum((实际占比-预期占比)* ln(实际占比/预期占比))
稳定性的结果含义
PSI | 含义 | 行动项 |
小于0.1 | 稳定性很好 | 该干嘛干嘛 |
0.1-0.25 | 稳定性一般 | 关注一下 |