写文章也一年多了,这一年的时间里一直在学习、总结、思考不停地反复,逐渐从一个菜鸟到对这门技术慢慢有了自己的认知。但是即便如此,我内心还是深知自己不明白的东西有很多,依然有许多需要实践和积累的。最近又回头去看求是汪的文章,很多东西看一遍很容易遗忘,需要不停地反复阅读、思考和总结。所以突然就有了写这篇文章的想法,将评分卡中理论的东西整理一下,具体顺序全凭自己的记忆和思路。目的也是为了重新夯实一下基础,让自己的内心感到更加踏实和安全。
一、评分卡的映射逻辑
这个之前写过逻辑回归评分卡映射,具体细节不展开。一些重要的公式如下,这几个公式是评分卡映射中的核心公式,后面会重复提到。
评分卡映射的逻辑中,需要对θ0(初始违约概率)、P0(初始分数)、PDO(翻番倍数)作出假设,这三个数值决定了评分转化中的A和B的值。由此衍生出几个问题:
1.逻辑回归输出的y为什么可以表示违约概率?
由上式4可以知道,逻辑回归输出的y就是p,这是表面上的原因。深层原因是,第4步的步骤其实是一个普拉托平滑,可以使输出概率的分布是正态分布,这在评分卡校准的时候会用到。而像xgb这些模型由于没有做相关性筛选,入模变量相关性比较高,因此输出概率分布一般服从长尾分布(各种因素对结果的影响不是相加,而是相乘,那么最终结果不是正态分布,而是对数正态分布)。
2.逻辑回归的系数的绝对值是否可以认为是特征的重要性?
逻辑回归系数的绝对值越大,说明对分类效果的影响越显著。但是因为改变变量的尺度就会改变系数的绝对值,而且如果特征之间是线性相关的,则系数可以从一个特征转移到另一个特征。特征间相关性越高,用系数解释变量的重要性就越不可靠。