金融风控评估模型指标：KS、PSI

风险模型最核心的指标就是排序指标KS。KS值可以很好地度量一个集合内好坏用户的排序分布。一个常见的情形是，离线评测模型的KS值很高，但是等到上线应用后，模型的KS很快就大幅“衰减”了，而且很多时候都是离线提升的越多，线上衰减越大。那么是模型出问题了吗？这里其实有个观察的误区，所谓的“衰减”是指在不同时期的不同用户集合上的KS值比较，而实际上不同集合间的KS绝对值是没有比较意义的。
举一个简单的例子，某一场考试预测排名，试想对全校去年成绩前50的学生进行排序预测容易还是对任意一个班的学生预测排序容易，显然对后者的预测必然会更准确一些。上图中右边部分描述模型上线后KS“衰减”的原因。新模型V2的排序能力高于V1，它可以将V1授信通过的用户中更多的坏用户排到靠后。当V2上线后，V2高准确度识别的类似坏用户无法通过了（也就是只剩下全校排名靠前的学生了），因此对V2决策通过的用户算KS自然就下降了。上图中，只有KS2与KS1、KS3与KS4是有比较意义的。
模型稳定性是另一个关键因素。分布稳定性最基础的指标是PSI，只有预测分数分布是稳定的，这样才有信心可以基于历史数据去预测未来的风险；性能稳定性则是指，要保证预测分数区间对应的真实风险是相对稳定的，比如600-650分之间对应的逾期风险是1%，那么我们希望在所有月份上真实风险都能稳定在1%的水平附近。
而在策略对模型的实际应用中， 核心则是基于Swap in & out的分析。通过分段交叉的矩阵，考量在人数相同的情况下，新模型的整体逾期率是否显著低于旧模型；而在相同逾期率的水平下，新模型的通过率提升多少，可以提升整体规模多少。