风控算法开发过程中常用评估指标

最近整理了一下风控算法开发过程中常用的模型层面指标。模型指标的选择和评估不仅直接关系到算法性能，还影响到模型在实际业务场景中的适配性和稳定性。因此，这里主要聚焦于模型层面的评估指标，如 KS、Lift、PSI 和 KL 散度，以及它们的计算方法和应用场景。这些指标贯穿了从特征挖掘到模型验证的全过程，帮助我们更好地理解模型在不同数据集上的表现和适用性。至于业务侧的评估指标，例如逾期率、通过率等，也在实际应用中至关重要，但在本文中暂不赘述，期待未来有机会再展开讨论。

一. 数据集划分

风控算法开发过程中，训练集、验证集和 OOT(Out-Of-Time，时间外测试集)集通常基于时间顺序或业务场景划分。训练集包含历史数据，用于模型学习特征与目标变量的关系；验证集选取与训练集时间段接近或从同一分布中抽样的数据，用于调优参数和防止过拟合；OOT集则选取未来未见或独立时间段的数据，用于评估模型的长期稳定性和跨时间泛化能力。这样的划分能确保模型既能充分学习历史规律，又能在业务变化中保持鲁棒性和实际应用效果。

OOT 数据集在风控算法中不可或缺，能够帮助评估模型的稳定性、业务效果和真实场景的适用性。通过在 OOT 数据集上的测试，风控团队可以提前发现潜在问题，从而优化模型和提升风控策略的效果。

二. 模型评估指标

1. KS (Kolmogorov-Smirnov) 指标

1.1 概念

衡量模型对好客户和坏客户的区分能力。KS 反映了好坏客户累计分布曲线（CDF）之间的最大差值。如果 KS 越大，说明模型越能有效区分好客户和坏客户。

累计比例（Cumulative Distribution Function, CDF）是累计占比的计算，表示当前类别样本占总类别样本的比例。对于好客户和坏客户的累计比例计算公式如下：

完整文章链接：风控算法开发过程中常用评估指标