第15篇：新旧模型的交换集分析

来源：《智能风控实践指南：从模型、特征到决策》

交换集分析：

交换集分析是指利用新旧模型通过和拒绝的客户不一致的情况，通过分析这些不一致的客户对坏账率和通过率的影响以评价模型策略的效果。换出（swap-out）是指新模型拒绝而旧模型通过的客群，换入（swap-in）是指新模型通过而就模型拒绝的客群。通常，我们希望新模型能换出更多的不良客户，换入更多的坏客户，从而用好客户替代不良客户，以降低整体坏账率。

新旧模型策略以新模型的通过和拒绝为横向维度，以旧模型的通过和拒绝为纵向维度组合，形成一个矩阵。

由此，客群被划分为下面3个子客群：

（1）swap-in population：指被旧模型拒绝但被新模型通过的客户。通常，这部分客户是之前被拒绝的客户。其好坏标签未知，我们可以采用拒绝推断方式进行预估。

（2）swap-out population：指被旧模型通过但被新模型拒绝的客户。通常，这部分是放款客户，其好坏标签已知。

（3）No change：指被新旧模型同时拒绝或通过。因此，审批状态没有差异且通过样本的好坏标签已知。

针对未知客群的好坏标签，拒绝推断方式预估方式：

新模型优于旧模型的本质在于新模型换入的客群的风险更低。对于旧模型拒绝新模型通过的客户，其贷后表现未知，需要推断这部分客户的贷后表现。即进行拒绝推断。这里的拒绝推断不等同于模型部分的拒绝推断。

如何进行合理的拒绝推断？直接方式是利用新模型各分数段在有表现样本上的坏账率来估算旧模型拒绝样本上的坏账率。如图，例如左侧列表表示的是新模型在有表现样本上的坏账率排序，右侧列表表示的是同等分数段下旧模型拒绝样本的分布。若标黄部分为新模型的cut-off，就可以估算旧模型拒绝客户的坏账率和换入的坏账率。这里假设旧模型通过或拒绝的样本在新模型上打分时，在同分数段的情况下，其坏账率是一致的。

但这里存在一个低估换入客群坏账率问题，因为此时的坏账率是在旧模型通过的条件下得到的。通常情况下，我们会对利用上述方式推断得到的换入客群坏账率做系数矫正，结合以下3种方式进行推断：

（1）universe test 推断

在通常情况下，模型分只有高于我们预先设置的cut-off值，才会被审批通过，但为了持续验证风控策略的有效性，我们有时会设置0.5%~1%的universe Test 分流组，即此时分流组的客户不会执行模型策略而会被直接审批通过。如果我们在风控策略的实施中使用universe test，那么就会有一小部分换入的放款客户，利用这部分放款客户的历史贷后数据，就能更为准确的估算出换入客群的坏账率。

（2）A/B测试组推断

若旧模型在上线模型策略初期采用A/B测试，那么甲组模型只打分，决策不生效，乙组模型策略打分并生效。由于乙组中低于cut-off的客户已被策略拒绝。因此可以用甲组中低于cut-off值的放款客群的坏账率作为乙组拒绝客户坏账率的近似估计。

（3）线性拟合推断

在既没有universe test和ab test下，可以使用线性拟合推断旧模型拒绝样本的坏账率。例如，旧模型在线上决策的cut-off值是478，因此对于旧模型的模型分在478以上的客户，我们能从历史数据中获得其贷后逾期表现，表中最后两行就是我们需要预测的部分。

因为分箱采用等频的方式，所以我们可以把图的分箱序号作为横轴，逾期率作为纵轴，绘制坏账率拟合曲线，并用excel显示拟合公式，那需要预测的部分即可利用公式进行预估。如果R方比较高，表示预测的准确性较高。

（4）同业样本推断

有的公司例如蚂蚁等，会把推给甲机构但被拒绝的客户，分发给其他机构。在这样情况下，根据其他机构通过客户的贷后表现情况，可进行拒绝推断。在这个过程中需要与分发机构进行沟通协商拿到样本，才可后续进行拒绝推断。

在正常情况下，旧模型拒绝且新模型通过样本的坏账率要低于旧模型通过且新模型拒绝样本的坏账率。根据经验，前者一般是后者的60%~90%，会由于实际业务和模型效果的不同而略有差异，实际使用时，可加以验证。

线下坏账率预估的结果很好并不表示上线后一定能达到逾期，因为模型训练、特征部署和模型部署过程中都可能存在意外。谨慎起见，在线上，我们应采用AB测试，即保证新旧模型同通过率的情况下观察线上的实际贷后坏账差异。