【金融风控项目-06】：风控建模流程

已于 2024-12-11 16:08:24 修改
阅读量1.6k 收藏 16
点赞数 27
分类专栏： # 金融风控项目 文章标签： 数据挖掘
于 2024-11-17 00:08:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51385258/article/details/143815150
版权

文章目录

2 风控建模流程

2.1 ABC评分卡简介

风控模型其中包含了A/B/C卡。模型可以采用相同算法，一般以逾期天数来区分正负样本，也就是目标值Y的取值（0或1）

  • 贷前 申请评分卡 Applicatio score card

  • 贷中 行为评分卡 Behavior score card

  • 贷后 催收评分卡 Collectio score card

C卡因为用途不同Y的取值可能有区别

  • 公司有内催，有外催。外催回款率低，单价贵

  • 可以根据是否被内催催回来定义C卡的Y。

2.2 机器学习模型工作的完整流程

  • 准备

    • 明确需求

    • 模型设计

      • 业务抽象成分类/回归问题

      • 定义标签（目标值）

    • 样本设计

  • 特征工程

    • 数据处理，选取合适的样本，并匹配出全部的信息作为基础特征

    • 特征构建

    • 特征评估

  • 模型

    • 模型训练

    • 模型评价

    • 模型调优

  • 上线运营

    • 模型交付

    • 模型部署

    • 模型监控

2.3 项目准备期

2.3.1 明确需求

  • 明确需求

    • 目标人群：新客，优质老客，逾期老客

    • 给与产品：额度，利率

    • 市场策略：冷启动，开拓市场，改善营收

      • 冷启动：数据量少，不能进行有监督学习
      • 开拓市场：利率可以降低一些
      • 改善营收：找到额度、利率的最佳平衡点

    • 使用时限：紧急使用，长期部署

举例：

1. 业务需要针对全新客户开放一个小额现金贷产品，抢占新市场
2. 针对高风险薄数据新客的申请评分卡

2.4 模型设计

A/B卡预测用户是否会违约，是一个二分类问题。与业务、运营和推荐系统，一般都是二分类问题。
l模型设计

2.4.1 业务抽象成分类/回归问题

  • 风控场景下问题通常都可以转化为二分类问题：
  1. 信用评分模型期望用于预测一个用户是否会逾期，逾期用户1
  2. 营销模型期望用于预测一个用户被营销后是否会来贷款，没贷用户1
  3. 失联模型期望用于预测一个用户是否会失联，失联用户1
  4. 风控业务中，只有欺诈检测不是二分类问题。因为样本数量不足，可能是一个无监督学习模型

2.4.2 模型算法

  • 规则模型

  • 逻辑回归

  • 集成学习

  • 融合模型

2.4.3 模型输入

  • 数据源
  • 时间跨度

2.4.4 Y标签定义

  • 在构建信贷评分模型时，原始数据中只有每个人的当前逾期情况，没有负样本，负样本需要人为构建
  • 通常选一个截断点（阈值），当逾期超过某个阈值时，就认定该样本是一个负样本，未来不会还钱；
  • 比如逾期15天为正负样本的标记阈值，Y = 1的客户均是逾期超过15天的客户
  • 逾期>15天时 Y = 1，那么Y=0如何定义
    1. 只会将按时还款和逾期较少的那一部分人标记为0。如：将逾期<5天和没有逾期的人作为正样本
    2. 逾期5～15天的数据（灰样本）会从样本中去掉，去掉“灰样本”，对模型学习更加有利。
    3. “灰样本”通常放入测试集中，用于确保模型在训练结束后，对该部分样本也有区分能力。

逻辑回归返回的是标签的概率值， 希望找到一个阈值，可以完全区分两类。但是实际上在阈值附近会有一些波动，就是灰样本区域。

2.4.5 样本选取

  • 代表性：样本必须能够充分代表总体。如消费贷客群数据不 能直接用到小额现金贷场景

  • 充分性：样本集的数量必须满足一定要求。评分卡建模通常要求正负样本的数量都不少于1500个

  • 时效性：在满足样本量充足的情况下，通常要求样本的观测期与实际应用时间节点越接近越好

    • 如银行等客群稳定的场景，观察期可长达一年半至两年。

  • 排除性：虽然建模样本需要具有代表整体的能力，但某些法律规定不满足特定场景贷款需求的用户不应作为样本

    • 如对行为评分卡用户、无还款表现或欺诈用户均不应放入当前样本集。

  • 评分卡建模通常要求正负样本的数量>=1500，但总样本量超过5万时

    • 许多模型的效果不再随着样本量的增加而有显著提升，而且数据处理与模型训练过程通常较为耗时。

2.4.6 样本采样

  • 如果样本量过大，会为训练过程增加不必要的负担，需要对样本做欠采样（Subsampling）处理。
  • 由于负样本通常较少，因此通常只针对正样本进行欠采样。常见的欠采样方法分为：
    1. 随机欠采样：直接将正样本欠采样至预期比例。
    2. 分层抽样：保证抽样后，开发样本、验证样本与时间外样本中的正负样本比例相同。
    3. 等比例抽样：将正样本欠采样至正负样本比例相等，即正样本量与负样本量之比为1:1
    4. 当负样本较少的时候，需要进行代价敏感加权或过采样（Oversampling）处理

2.4.7 观察期和表现期

  • 观察期是指用户申请信贷产品前的时间段

  • 表现期是定义好坏标签的时间窗口，如果在该时间窗口内触发坏定义就是坏样本，反之就是好样本。

  • 举例: 要建立A卡模型, 观察期12个月,表现期3个月

    1. 用户贷款前12个月的历史行为表现作为变量，用于后续建模
    2. 如设定用户在到期3个月内未还款，即认为用户为负样本，则称表现期为3个月

2.4.8 Y标签阈值确定

模型设计 : 如何确定合适的逾期标签阈值以及观察期表现期

  • 结合滚动率分析和Vintage分析

  • 滚动率分析用于定义客户的好坏程度

  • Vintage分析用于确定合适的表现期

  1. 利用滚动率分析定义坏客户，如下图中定义：M4+为坏客户
    在这里插入图片描述
    如果在表现期中, 有M4+的情况(DPD90以上) 有80%的人依然是M4+的状态, 逾期的情况不会变好 此时M4+作为Y标签的阈值, 需要注意的是, 如果通过这种方式确定的1标签人数过少, 可以考虑M3+的情况, 也需要注意, 如果逾期情况变好的比例比较高, 不适合降低阈值
  2. 以M4+作为资产质量指标，统计Vintage数据表，绘制Vintage曲线。目的是分析账户成熟期，
  • 例如下图案例确定：账户成熟期是9个月
    在这里插入图片描述

  • 表现期, 确定Y标签, 表现期多长比较合适, 通过vintage , 观察M4+ 比例变化情况, 当M4+ 比例增量放缓, 这个时长可以作为表现期窗口长度

  • 观察期, 用观察期的数据做特征, 用表现期的数据做标签

    表现期设置为9个月, 当前做模型最早可以用到的数据, 就是1月份来申请借款的用户

    使用2022年的数据来做特征, 1月份放款以后, 最近9个月用户的违约情况做标签
    在这里插入图片描述

2.4.9 样本种类

  • 训练数据测试数据划分，数据集在建模前需要划分为3个子集：
  1. 开发样本（Develop）:开发样本与验证样本使用分层抽样划分，保证两个数据集中负样本占比相同
  2. 验证样本（Valuation）: 开发样本与验证样本的比例为6:4
  3. 时间外样本（Out of Time，OOT）: 通常使用整个建模样本中时间最近的数据, 用来验证模型对未来样本的预测能力，以及模型的跨时间稳定性。

在这里插入图片描述

  • 样本选取, vintage 选几月份的数据可以做模型 (表现期)

  • 样本选取的时候, 要留最近一部分数据, 作为时间外样本, 不参与模型训练,在上线之前做最后的验证

  • 训练A卡模型的时候, 选择的样本, 一定是新客, 在观察期中不能有内部的逾期数据

  • 训练B卡模型的时候, 选择的样本一定是未逾期的老客(在观察点的时刻一定处于未逾期的状态)

2.4 特征工程

2.4.1 特征构建

  • 画出类ER图，数据关系：一对一、一对多、多对多

在这里插入图片描述

  • 写SQL查询时要从用户列表出发，join其他表
  • 明确评估特征的样本集
    • 新申请客户没有内部贷款数据
    • 未逾期老客户档期没有逾期信息
    • 逾期老客户和未逾期老客的还款数据一定差别很大
  • 如何从原始数据中构建特征：指定特征框架，确保对数据使用维度进行了全面思考
    • 每个属性都可以从R（Recency） F（Frequency） M（Monetary）三个维度思考，来构建特征
      在这里插入图片描述

2.4.2 特征评估

  • 什么是好的特征，好的特征需要满足的条件：
  • 覆盖度高，很多用户都能使用
  • 稳定，在后续较长时间可以持续使用 PSI (Population Stability Index)
  • 区分度好，好坏用户的特征值差别大 IV (Information Value)

也可以用模型的评估指标来评估特征：单特征AUC, 单特征KS
可以拿效果最好的单特征的AUC，KS来估计模型的效果

在这里插入图片描述

2.4.2 特征工程小结

  • 特征构建注意事项：

    1. 数据源对应的具体数据表,画出ER图

    2. 评估特征的样本集

      • B卡样本集不能包含逾期数据
      • C卡样本集不能包含按时还款的数据

    3. 特征框架,确保对数据使用维度进行了全面思考

      • 确定思维框架, 与组内其它人讨论

    4. 明确数据源对应的具体数据表

      • 明确数据是从哪里来的: (DE Data Engineer 数仓工程师)
        在这里插入图片描述

    5. 数据分析师拿到的数据可能是：数仓原始表或者数仓重构表

    6. 数仓原始表和数仓重构表可能数据量有差异，因为更新时间不同

      • 尽量使用数仓工程师加工好的重构表，确保逻辑统一
      • 实时预测要确保生产数据库和数据仓库数据一致 (很难)

  • 特征构建流程总结：

  • 先明确可以用到的数据
  • 梳理取数的逻辑, 从数据库的哪张表中获取数据, 把E-R图划出来(实体关系图)
  • 明确数据质量 , 看覆盖度, 是不是每个用户都能取到值
  • 特征构造
    • 分组聚合, 在数据库中, 每个用户都会对应多条数据, 最终输入到模型, 用于模型训练的样本数据, 每一个用户对应着一条样本 , 此时可以考虑使用用户ID 分组, 做聚合计算
    • 聚合的一种常用的思路R 最近/F 次数, 频率/M 关键指标
  • 特征构造之后需要做特征评价
    • 什么是一个好的特征
    • 覆盖度高 大多数用户都能取到值, 空值比较少
    • 稳定性好 覆盖度波动比较小
    • 区分度强 单特征AUC 把模型输出的结果 换成特征的取值
      • 把特征值按照从小到大/从大到小排序, 值越大违约概率越高/值越小违约概率越高, 以特征的取值做为0/1划分的标准, 输出0/1的预测, 此时可以绘制出 ROC曲线 → AUC
      • 如果单特征AUC 没有高于0.6的 模型基本效果不会好

2.5 模型构建

2.5.1 设计实验

  • 训练模型时有很多可能的因素会影响模型效果

  • 我们需要通过设计实验去验证哪些因素是会提升模型效果的

2.5.2 模型评估

  • 好的模型需要满足的条件：

    • 稳定，在后续较长时间可以持续使用 PSI (Population Stability Index)

    • 区分度好，好坏用户的信用分差别大 AUC, KS, GINI

    • 报表一：区分度，抓坏人能力在不同分段的表现
      在这里插入图片描述

2.6 上线运营

  • 模型交付

    • 交付流程：

      1. 提交特征和模型报表
      2. 离线结果质量复核 (无缺失，无重复，存储位置正确，文件名规范)
      3. 保存模型文件，确定版本号，提交时间
      4. 老大审批，通知业务方
      5. 线上部署，案例调研， 持续监控

    • 特征报告

      1. 特征项目需求
      2. 特征项目任务列表
      3. 特征项目时间表
      4. 类ER图
      5. 样本设计
      6. 特征框架
      7. 每周开发进度和结果
      8. 每周讨论反馈和改进意见笔记
      9. 特征项目交付说明
      10. 特征项目总结

    • 模型报告

      1. 模型项目需求
      2. 模型项目任务列表
      3. 模型项目时间表
      4. 模型设计
      5. 样本设计
      6. 模型训练流程和实验设计
      7. 每周开发进度和结果
      8. 每周讨论反馈和改进意见笔记
      9. 模型项目交付说明
      10. 模型项目总结
风控建模流程一张图
阿黎逸阳的博客
08-31 514
一文彻底弄懂风控建模和风控建模流程
03、信贷业务中的风控识别：金融风控业务流程5步走！这些是核心！
主要以分享银行信贷业务、消费金融、汽车金融产品等信贷业务知识干货为主，来为大家创造一个行业交流环境。一个人可以走的很快，但一群人可以走得更远！
07-31 1456
将一起深入探讨风控业务的核心要素、实际应用场景以及背后的逻辑原理。无论你是金融从业者、投资者，还是对风控领域感兴趣的朋友，相信这次分享都能为你带来全新的视角和启发。
风控建模教程
12-15
可以说是非常全面的一本关于风控建模的书了，工程性非常强，而不是只是理论知识，同时也有一些理论知识。
讲透金融风控建模全流程(附 Python 代码)
机器学习社区
12-03 4792
信贷风控是数据挖掘算法最成功的应用之一，这在于金融信贷行业的数据量很充足，需求场景清晰及丰富。信贷风控简单来说就是判断一个人借了钱后面（如下个月的还款日）会不会按期还钱。更专业来说，信贷风控是还款能力及还款意愿的综合考量，根据这预先的判断为信任依据进行放贷，以此大大提高了金融业务效率。本文内容较长，喜欢记得收藏、点赞。 与其他机器学习的工业场景不同，金融是极其厌恶风险的领域，其特殊性在于非常侧重模型的解释性及稳定性。业界通常的做法是基于挖掘多维度的特征建立一套可解释及效果稳定的规则及风控模型对每笔订单/用户
【风控】如何构建一款智能风控模型
最新发布
zkw54334的博客
04-21 1675
风控模型预测未来风险，因此属于有监督学习。标签是模型需要预测的结果，可以是二元分类（好/坏）或连续变量（如收益、损失）。标签的定义应明确：在何时（观测点）预测未来多长时间内，何种风险事件的发生。观察窗口：用于收集客户行为数据的时间区间，如近3、6、9或12个月内的各项业务数据；表现窗口：用于评估客户表现和确定风险事件的时间段，如6个月的逾期状况。
金融风控评估模型指标：KS、PSI
rubyw的博客
08-10 871
一个常见的情形是，离线评测模型的KS值很高，但是等到上线应用后，模型的KS很快就大幅“衰减”了，而且很多时候都是离线提升的越多，线上衰减越大。这里其实有个观察的误区，所谓的“衰减”是指在不同时期的不同用户集合上的KS值比较，而实际上不同集合间的KS绝对值是没有比较意义的。性能稳定性则是指，要保证预测分数区间对应的真实风险是相对稳定的，比如600-650分之间对应的逾期风险是1%，那么我们希望在所有月份上真实风险都能稳定在1%的水平附近。而在相同逾期率的水平下，新模型的通过率提升多少，可以提升整体规模多少。
互联网金融风控模型
Change the World by Program
02-08 5万+
一、市场调研 目前市面主流的风控模型 1、互联网金融前10名排行榜(数据截止日期2017-09-12) 互联网金融公司排名分别是蚂蚁金服、陆金所、京东金融、苏宁金融、百度金融、腾讯理财通、宜信、钱大掌柜、万达金融和网易理财。 1.1 蚂蚁金服 1.1.1 大数据技术 对接第三方征信公司芝麻信用分，通过用户信用历史、行为偏好、履约能力、身份特质、人脉关系五个维度对...
笔记︱风控分类模型种类（决策、排序）比较与模型评估体系（ROC/gini/KS/lift）
热门推荐
素质云笔记
06-21 6万+
本笔记源于CDA-DSC课程，由常国珍老师主讲。该训练营第一期为风控主题，培训内容十分紧凑，非常好，推荐：CDA数据科学家训练营 一、风控建模流程以及分类模型建设 1、建模流程 该图源自课程讲义。主要将建模过程分为了五类。数据准备、变量粗筛、变量清洗、变量细筛、建模与实施。 2、分类模型种类与区别 风控与其他领域一样，分
银行风控建模
SQL__Learning的博客
06-05 6371
好坏样本的定义需要根据实际的业务需求进行界定，而不是存在逾期就界定为坏样本（由于收益与风险的正比关系，银行为了找到平衡，不会认为所有发生过逾期的客户都是坏客户，并且“适当”的逾期不仅不会带来损失，反而带来了可观的逾期利息收入），所以对于银行来说，他所关注的坏客户是坏到某一程度，也就是逾期等级较高且不还款的客户。Vintage分析（账龄分析）用于确定合适的表现期，即确定有多久表现期的客户能纳入模型。（随着账龄的变化，贷款逾期的变化情况，贷款逾期趋于稳定后，则可作为表现期，比如经过6个月）；
风控建模
weixin_46072106的博客
12-21 6038
1 风控建模流程 1 评分卡简介 贷前 申请评分卡 Application score card 贷中 行为评分卡 Behavior score card 贷后 催收评分卡 Collection score card A B逾期的客户是正样本 C 能够被内催催回来的客户 2 机器学习模型的完整工程流程 准备 明确需求 模型设计 业务抽象成分类/回归问题 定义标签（目标值） 样本设计 特征工程 数据处理，选取合适的样本，并匹配出全部的信息作为基础特征 特征构建 特征评估
七月在线--金融风控实战--第一课 金融风控业务详解--课程笔记
dean1977a的博客
05-21 3758
建模流程： 1.前期准备工作：不同的模型针对不同的业务场景，在建模项目开始前需要对业务的逻辑和需求有清晰的理解，明确好模型的作用，项目周期时间和安排进度， 以及模型效果的要求。 2.模型设计：包括模型的选择（评分卡还是集成模型），单个模型还是做模型的细分，是否需要做拒绝推论，观察期，表现期的定义，好坏用户的定义，数据的 获取途径等都要确定好。 3.数据拉取及清洗：根据观察期和表现期的定义从数据池中...
金融风控贷款违约预测：Python课程大作业源码分享
资源摘要信息:"基于Python实现的金融风控贷款违约预测源码" 1. Python编程语言的使用 - Python是一种广泛应用于金融数据分析和机器学习领域的高级编程语言。 - Python具有丰富的库支持，如NumPy用于数值计算，...
风控建模教程.pdf
02-01
1. 营销获客 2. 贷前风控 2.1 贷前审查 2.2 反欺诈 2.3 风控策略 2.4 风控建模 2.5 数据管理 风控总监训练营 ......................................................................................................792 4 节课玩转信用评分卡模型....................................................................................792 如何搭建虚拟信用卡风控体系 ...............................................................................792 风控大牛手把手教你搭建企业级信用评分模型.....................................................792 2 大维度全面ᨀ升催收效率....................................................................................792 3 堂课，从 0-1 掌握基于数据驱动的风险定价核心...............................................792 如何打造现金贷产品的风控体系？........................................................................792 解密 P2P 网贷备案——专家教你如何正确应对备案..............................................793 区块链的前世今生及其应用 ...................................................................................793 区块链热潮下不可不知的法律风险：法律专家权威解读区块链、代币等案例与法律 分析 .........................................................................................................................793 牌照决定生死，现金贷及 P2P 如何拿牌？............................................................793
大数据风控实践-杨青学习
02-17
在大数据时代，风险管理与控制（风控）是金融领域的重要课题。...大数据风控实践是一个多维度、多层次的复杂系统工程，涉及技术和业务的多个方面，需要从战略高度去规划和实施，以应对新时代金融风控的挑战。
Python金融大数据风控建模实战：基于机器学习源代码.zip
03-30
在本实践项目中，我们将深入探讨“Python金融大数据风控建模实战：基于机器学习源代码”的主题。这个项目特别适合那些正在进行人工智能、机器学习或深度学习相关毕业设计或课程设计的学生。通过此压缩包，你可以获取...
互联网金融风控模型大全
爱昵容儿 的专栏
11-05 6270
一、市场调研 目前市面主流的风控模型 1、互联网金融前10名排行榜(数据截止日期2017-09-12) 互联网金融公司排名分别是蚂蚁金服、陆金所、京东金融、苏宁金融、百度金融、腾讯理财通、宜信、钱大掌柜、万达金融和网易理财。 1.1 蚂蚁金服 1.1.1 大数据技术 对接第三方征信公司芝麻信用分，通过用户信用历史、行为偏好、履约能力、身份特质、人脉关系五个维度对海量数据行综合的处理评估，同时也给予阿里电商交易和蚂蚁金服互联网金融交易数据，对接公安系统和第三方数据公司建立联系。(这块就是用户画像的作用，投资人
风控项目2---风控建模流程
一夜奈何梁山
12-16 3491
目录一：了解信贷风险：1： 了解信贷业务：2：了解信贷业务中的风险控制：二：信贷产品与风险？2.1：说说你知道哪些信贷产品？2.2：说说上面的信贷产品都有哪些风险？三：风控常见的术语：四：信贷审批业务的基本流程：五：ABC评分卡是什么？区别是什么？六：风控模型的流程？ 一：了解信贷风险： 1： 了解信贷业务： 1： 如何获利？通过放款收回本金和利息，扣除成本后获得利润 2：信贷如何把控？贷款平台预测有信贷需求用户的还款情况，然后将本金借贷给还款概率大的用户。 2：了解信贷业务中的风险控制： 问题一： 你
金融大数据风控模型
liweiminlining的专栏
07-09 2986
https://www.secrss.com/articles/27699 导读：金融是AI赋能传统行业的重要赛道。本次分享的主要内容为金融大数据风控模型在度小满金融的实践。主要介绍金融大数据风控模型的主要技术方法与在应用层面的主要问题，并结合新冠疫情背景下，探讨下风控模型的发展。 01金融大数据风控模型的技术方法 1. 风险管理中的金融科技 风险管理中的金融科技主要包括两个方面： 一方面是传统金融的风险管理，包括： A卡（Application Scorecard，申请评分卡） .
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值