本文是对《智能风控实践指南》中模型策略分析方法这一小节中交换集分析(又叫换入换出分析)中的拒绝推断部分展开谈谈。这个方法正好之前一位做模型的朋友详细和我说过,这次在书中看到确实有产生一些共鸣。
交换集分析,是指利用新旧模型通过和拒绝的客户不一致的情况,通过分析这些不一致客户的坏账率和通过率以评价模型策略的效果。换出是新模型拒绝而旧模型通过的客群,换入是新模型通过而旧模型拒绝的客群。通常,我们希望新模型能换出更多的不良用户,换入更多的好客户,从而用好客户代替不良客户,以降低整体坏账率。
换入客群是新模型通过而旧模型拒绝的客群,这部分是之前被拒绝的客户,其好坏标签未知,需要采用拒绝推断的方式进行预估。其实不止模型策略分析时会采用换入换出分析,在做策略替换的时候也会用到。这里的拒绝推断不等同于模型部分的拒绝推断。因为模型部分的拒绝推断,是对模型拒绝的样本作推断,而这里是需要对旧模型拒绝、新模型通过的样本作推断,是从拒绝的客户中再挑一部分出来推断。
书中介绍的一种方法,是利用新模型各分数段在有表现样本上的坏账率来估算旧模型拒绝样本上的坏账率。
如上图,左侧是新模型在有表现样本上的坏账率排序,右边是旧模型拒绝的样本,用新模型打分之后的分布情况。黄色线以下B-C就是旧模型拒绝、新模型通过的样本,也就是要估算这部分客群的坏账。这里假设新旧模型在同分数段的坏账率是一样的,因此估出来的坏账就是:
(20*8.63%+1