金融大数据监控PSI(特征稳定性)指标详解

本文详细介绍了金融大数据监控中用于评估特征稳定性的PSI(Population Stability Index)指标,强调了特征稳定性在建模前的重要性。通过PSI的计算公式和实例,展示了如何评估特征稳定性。此外,还探讨了模型稳定性,特别是模型PSI的计算,并提出了消除预测概率波动性和Rank迁移等实践策略,以确保模型的稳定性和业务适用性。
摘要由CSDN通过智能技术生成

金融大数据评分系统监控模块需要根据评分结果判断当前评分服务是否正常,据对现有评分数据的分析,监控系统采用基于成熟的PSI指数的监控机制,通过把各种系统主要异常代码分别设立监控类别,结合目标评分的评分的分布,实现对如重大异常情况的监控,其中有一个指标PSI,统计学原理如下:

特征稳定性

所谓特征稳定性,就是关注该特征的取值随着时间的推移会不会发生大的波动。

对特征稳定性的关注,一定一定要在建模之前完成,从一开始就避免将那些本身不太稳定的特征选入模型。遗憾的是,很多做模型的同学并没有留意这一点,而是喜欢在特征ready后立刻开始建模,直到模型临近上线,才意识到应该去看看有没有不太稳定的特征,一旦发现有特征稳定性不满足要求,则需要对其进行剔除后重新建模,导致了不必要的重复性劳动。

通常采用PSI(PopulationStability Index,群体稳定性指数)指标评估特征稳定性。计算公式如下:


PSI是对两个日期的特征数据进行计算,可以任选其一作为base集,另一则是test集(也有其他叫法为expected集和actual集)。

下面介绍特征的PSI是如何计算出来的,有了这个,就可以读懂上面的公式了:

• 特征取值等频分段:对这个特征在base集的取值进行等频划分(通常等频分10份即可)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值