金融大数据评分系统监控模块需要根据评分结果判断当前评分服务是否正常,据对现有评分数据的分析,监控系统采用基于成熟的PSI指数的监控机制,通过把各种系统主要异常代码分别设立监控类别,结合目标评分的评分的分布,实现对如重大异常情况的监控,其中有一个指标PSI,统计学原理如下:
特征稳定性
所谓特征稳定性,就是关注该特征的取值随着时间的推移会不会发生大的波动。
对特征稳定性的关注,一定一定要在建模之前完成,从一开始就避免将那些本身不太稳定的特征选入模型。遗憾的是,很多做模型的同学并没有留意这一点,而是喜欢在特征ready后立刻开始建模,直到模型临近上线,才意识到应该去看看有没有不太稳定的特征,一旦发现有特征稳定性不满足要求,则需要对其进行剔除后重新建模,导致了不必要的重复性劳动。
通常采用PSI(PopulationStability Index,群体稳定性指数)指标评估特征稳定性。计算公式如下:
PSI是对两个日期的特征数据进行计算,可以任选其一作为base集,另一则是test集(也有其他叫法为expected集和actual集)。
下面介绍特征的PSI是如何计算出来的,有了这个,就可以读懂上面的公式了:
• 特征取值等频分段:对这个特征在base集的取值进行等频划分(通常等频分10份即可)