【信贷风控技术十分钟精通19】模型验证方法

本文链接：https://blog.csdn.net/qq_32146369/article/details/136096313

模型验证方法

从统计学和机器学习角度，模型验证包括3种类别。

方法	说明
留出法	将全量建模样本划分为训练集和测试集，通常采用分层采样：保持数据分布一致性，例如保留各目标类别比例
K折交叉验证	K折交叉验证是机器学习领域的概念，将样本集划分为K个互斥子集，同样保持数据分布一致性。每次用K-1个子集训练，剩余的1个子集用作测试集。得到K个模型，分别在对应的验证集中评估结果，最后的误差MSE(Mean Squared Error）或者KS 等模型指标加和平均就得到了交叉验证误差。 Leave-One-Out（留一法）是当K=总样本数时的特例 Jack-Knife本身是统计学中统计推断的概念用语，用于在小样本量条件下对统计量进行估计 1）从数据集中依次切掉1个样本，在剩余n-1个样本上计算统计量 2）如此重复》次，每次切掉不同样本，故得到n个统计量，然后计算均值作为最终统计推断的统计量估计值
自助法	自助法是统计学中统计推断的概念，用于在小样本量条件下对统计量进行估计 1）有放回地抽样若干样本，在该样本集上计算统计量 2）如此重复n次，每次计算一次统计量，得到n个统计量，然后计算均值作为最终统计推断的统计量估计值

模型验证可以分为上线前和上线后两个阶段。

验证阶段	验证方式	验证方法
线下(上线前)	样本外验证	1）样本量足够时，建模时将同一建模时间窗口的样本按照一定比例分拆之后，保留部分样本作为验证样本，该部分样本即样本外验证，将模型训练的评分卡作用在验证样本上，计算模型评价指标如KS、GINI等，观察是否与开发样本表现有显著差异 2）当样本量不足时，采用自助法抽取验证样本，再用模型训练的评分卡作用在验证样本上，计算模型评价指标如KS、GINI等，观察是否与开发样本表现有显著差异
线下(上线前)	时间外验证	验证目的是判断模型在时间外表现是否稳定
线上(上线后)	持续验证	1）计算入模变量的PSI稳定性、入模变量的IV预测能力 2）验证模型的稳定性和预测能力等

从模型管理角度，介绍银行巴塞尔新资本协议内部评级体系对模型验证的要求，包括验证的内容、范围和验证阶段。

前面介绍了模型验证的基本方法，主要是针对模型开发过程中以及开发完成后对模型本身的验证，是以开发者视角，重点关注模型的可用性，并不特别强调独立审计功能。根据巴塞尔新资本协议要求，在模型开发完成后，银行还需要对模型实施全面独立验证。全面独立验证与开发阶段验证的视角、目的、侧重点和范围有一定差异。

1）全面独立验证除了对模型本身的验证外，还包括数据验证、支持体系验证，包含的内容和范围更广，而且即使对模型本身的验证部分，全面独立验证包含的范围也更大，除了模型技术性指标验证外，也需要关注模型的基本定义、模型方法论和假设合理性。
2）全面独立验证所关注的模型类别不仅限于评分卡预测类模型，还包括PD/LGD/EAD参数模型和分池模型等。
3）全面独立验证强调独立审计职能，构筑风险三道防线的第三道防线，模型验证通常由负责模型独立验证和审计职能的部门承担。

零售风险模型全面验证的内容和范围包括三部分：数据验证、对模型本身进行的验证和建模方法论合理性验证，以及对模型支持体系进行的独立检验和监控

验证范围	说明
数据验证	对建模所用数据的验证包括完整性、全面性、准确性、一致性本质上属于数据治理范畴，即确保数据本身支持模型使用
模型验证	模型本身的验证包括模型验证、建模方法论合理性验证等，具体包括模型基本定义、模型假设、准确性、区分能力、稳定性技术指标
支持体系验证	对支持体系的验证包括支持模型应用的政策、流程、信息系统，以及文档体系、工作流程的检查

商业银行须建立完善的模型验证体系，确保模型理论正确、假设合理、数据完整、运行良好、计算准确、使用正确。

零售风险模型的全面独立验证阶段包括投产前全面验证、定期持续监控和投产后全面验证3个阶段。

1）投产前全面验证：对计量模型开发工作进行验证，重点验证计量模型方法的合理性、关键定义的合规及可操作性、数据的真实完整性和风险量化的有效性等；投产前全面验证还应对支持体系进行验证，重点验证模型的治理结构、政策流程、数据管理、IT系统、应用和文档管理等。
2）投产后持续监控：关注计量模型的表现，分析模型运行环境或假设条件发生变化对模型结果的影响，监测模型支持体系的运作状况。
3）投产后全面验证：应针对已投产的计量模型和支持体系进行全面检验和测试，形成综合评估结果，为模型的改进提供依据，全面验证可以是定期的或不定期的。