信用卡通不过?用数据分析技术,带你深度解析信用卡评分体系!

客户信息涉及到很多因素,因此许多因素无法在机器学习模型中进行探讨,这里收集了大部分互联网金融公司在信用卡申请时能获取到的信息。

目标

1. 使用机器学习构建信用卡评分模型,获得自变量分箱结果;

2. 并由评分模型得出最优的cutoff值,并对模型进行评价;

3. 再由新的样本集对评分卡进行测试,输出预测结果。

数据

我使用了Kaggle的两个数据集。

Kaggle数据集链接:

https://www.kaggle.com/yuzijuan/credit-card-scoring/data

环境和工具:

Rstudio,plyr,rJava,smbinning,prettyR

我首先对两个数据集进行探索性分析,剔除掉无法纳入模型的变量,例如ID,取值为空的变量,取值仅为一类的变量等;再探索配偶收入变量问题时,由于值绝大部分为0,将该变量变为二分类变量,取值为有收入与无收入;针对异常值过大的变量,采用盖帽法,用99分位点值代替极大异常值,有1分位点值代替极小异常值等等方法,数据清洗完后,再用smbinning包进行cart分箱,带入评分卡模型,获得评分卡,最后将其运用到测试集上。

开始

首先,导入必要的库和数据集,进行探索性数据分析,并剔除掉无法纳入模型的变量。

导入库

518b2ac3ce18afb933379e57b4ba296504d857e3

导入数据

34eddc827360ae2383b54f4ecfdeabb3e20f11e2

剔除无法纳入模型的变量

12fefcb1320d687153755d4658887fc97a1be779

由于评分卡模型一般分数越高,表示信用越好,故需要将信用好的类别得分记为1,信用不好的类别得分记为0。

b661f53b86efc865db4e94966de215327612cf22

为更有效分箱,获取了因子型变量集factorval和数值型变量集numericval,分别进行分箱处理。

数值型变量分箱

为更有效进行数据处理,对异常值可以进行盖帽法处理,代码如下:

6cad4994dabbd0258ae4eddccacd1d0ddff6c2aa

以年龄数值型变量举例说明,首先查看数据分布情况,由于是因变量为二分类,自变量为数值型,用t检验来检验两分布是否有显著性差别,有显著性差别才能进行分箱,否则分箱结果无意义。

8388a2eed345655cea7d16733f7500632bb7d8ef

分布情况如上图所示,可以对其进行盖帽法后再t检验和分箱处理。t检验的原假设为两分类组的均值相等,结果表明原假设被拒绝,认为两分布具有显著性差别,可以进行分箱。

cfb9175b02aa550f333b596b05843367886d752c

用的是smbinning包,这个包中采用的是CART回归树进行属性划分,数值型用函数smbinning(),由树的结果可知,划分点为19,22,32,37,46、59六个值,划分为7个属性区间。

ecab9295ae64b030ff7a3aba6211a1cd4c14af3f

AGE的IV值为0.2004,对AGE的WOE值画图,得到分布呈现单调趋势,表明分箱结果良好,可以纳入模型。

a2f015aa57601c6051f8760b87db7e36f16eeb1e

用AGE进行分箱的代码如下:

4db87339d70b843400e50a8eb7ca2ce467fc3b34

类推其他连续变量。通过调用numericalval可知共有7个数值型变量,由于两个数值型变量取值过于集中,后续将作为分类变量处理,故得到5个变量的IV值。

5c5a442fc4a632ff9b126f53a491267046ef75e0

因子型变量分箱

以性别分类变量举例说明,首先对性别变量中的异常值进行处理,这种类别变量一般将异常值归为多数这类。查看分布情况可知女性的守信情况似乎比男性好一些。性别变量的WOE值区分得也很明显。

63a2e1e078b43b03e9bb05d89ddd6ba146092f3f

在进行分箱之前同数值型变量一样,要检验两分布是否有显著性差别,由于因变量和自变量均为分类变量,故用卡方检验。原假设为两分布之间无显著性差别,卡方检验结果表明拒绝原假设,认为两样本有显著性差别,可以进行分箱。

bfc98d52249c68416f77f1a5a574c563872d5759

分类变量分箱也采用的是smbinning包,不过smbinning包中就是用原分类值进行属性划分,未对划分属性处理,分类变量用的函数是smbinning.factor(),最后得到SEX的IV值为0.0274。具体执行代码如下:

906a34921f715b942f64791195ef43b2c860b4bf

再以配偶收入举例说明,这个变量原本是数值型变量,由于取值过于集中到0,故将该变量转化为分类型变量再处理,处理方式是将取值为0的作为无收入,将取值大于0的作为有收入。

371695e19d2e1f4e4e1c959607e1a664189df235

得到混淆矩阵可以看出,有收入的似乎比无收入的守信情况好一些,WOE图的区别也较为明显。

ced8a9bceb9ff858807888606ea0a9f348368b52

通过卡方检验也可以看出,是否有收入对信用好否有显著性影响,可以进行分箱操作。最后分箱得到IV值为0.0206。具体代码如下:

60421d685e48e2e966601424c829db2ae1e3f26d

类推到其他因子型变量,计算出得到所有变量的IV值,存入creditivs中。

建立评分卡

得到所有可分箱变量的IV值,一般认为IV值大于等于0.02的对构建评分卡具有一定的帮助,故以0.02为分界点得到满足条件的变量。最后纳入评分卡模型的变量分别是年龄、工作时长(月)、个人收入、性别、婚姻状态、是否有自用手机、配偶是否有收入。

4aa35b420921046f1f3ec272bd9a043536c27351

最后7个自变量的IV值的分布情况如下,可以看到年龄、婚姻状态、工作时长、是否有自用手机这几个变量的IV值较大,表明这几个变量对预测结果影响较大。

7b0664ebc92700b56a478824c6cbabdec3047d49

数值型分箱变量用函数smbinning.gen(),因子型变量用函数smbinning.factor.gen(),可以生成分箱后的结果,分箱后生成的新列并因变量得到data2数据集,通过逻辑回归,建立评分卡模型。通过逻辑回归结果可以看出分箱后的变量都较为显著,表示分箱结果优良。

a00fcb2b57d1a94ee6676ae519379d8578d67a23

生成评分卡是用函数smbinning.scaling(),通过调节pdo,score,odds三个参数,使得评分卡最大值与最小值位于一个较好的范围。这里评分卡的区间为(389,888)。

最后保存为新的csv文件,评分卡就做好了。具体代码如下:

b6d0829a0262e61a92ae415a8fca42629b644a03

评分卡展示如下,points表示为评分卡的分值。如年龄在45岁的客户,得分为166分。

48e4bc5b91fd374b6f8fef3d73907b67d726abed

最后,你总得告诉领导或者同事,到底大于等于多少时,我们认为是好客户,这时还有最后一步,就是求cutoff值,将训练数据通过函数smbinning.scoring.gen()可以得到客户的得分,由于训练数据本身有是否违约这个变量,那么cutoff值有两种选择方式,第一种基于业务发展现状,即公司是需要盈利增收,还是公司需要控制风险,然后商议讨论选择一个cutoff值。下图为客户得分与客户违约的箱体图,1表示好客户,0表示坏客户,可以看出好客户的得分值会高于坏客户的得分值。

85235e26d797d469f5e0dfe99a2a57e062f00a0e

对客户得分与客户违约做t检验,检验结果表明,两分布具备显著性差别,可以认为好客户和坏客户的得分会有显著性差别。坏客户的得分集中在578分附近,好客户得分集中于620分附近。

a1c8e417d1951a1a665db08425c868e468aed0ce

第二种获得cutoff值的方式就是电脑自动计算最优cutoff值,用的函数smbinning.metrics(),从输出的报告可以看出,最优cutoff值为615,这样划分的话,ROC曲线的AUC值为0.657,不算特别优良,准确率(precision)达到87.8%。

7d4debf1e9ed0e176a00541d9f717982082b93f2

具体执行代码如下:

28fd519864ae578a4ffcad81910284f74d35ff84

预测

针对新样本,我选择用Excel工具获得信用评分,使用VLOOKUP函数可以很方便地得到想要的数据,评分展示如下,选择cutoff值为615,这里认为(600,620)的客户为关注客户,信用情况中等,620分以上的客户信用情况良好,600分以下的客户信用情况堪忧。

f88c1f8c2f024dbfea2281dcfa3048cca95c470f

分别用!、√、×来表示中等、优良、较差的信用情况。

结语

本案例不足之处在于:

1. 未对职业代码、商店等级代码等信息进行提炼,可能会忽略掉一些有可能对模型有影响的变量。

2. Smbinning包在数值型变量分箱这一块很强大,但是对分类变量分箱结果不太尽如人意,可以考虑其他分箱方法。

3. 可以整合更多模型,从而提高预测准确率。


原文发布时间为:2018-06-22

本文作者:余子娟

本文来自云栖社区合作伙伴“CDA数据分析师”,了解相关信息可以关注“CDA数据分析师”。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
前言 5 第1章 信用卡数据分析系统编程理论基础 6 1.1 风险控制理论 6 1.1.1 信用卡风险的类型和特点: 6 1.1.2 信用卡风险管理的作用和手段: 6 1.2 数据库理论 7 1.2.1 ODBC连接数据库 7 1.2.2 结构化查询语言基础 8 1.2.3 ADO对象的数据库操作 9 第2章 需求分析 12 2.1 项目建议书 12 2.2 数据实现流程图 13 2.3 使用软件的比较: 13 2.4 计划任务: 15 第3章 总体的设计方案 17 3.1 概述 17 3.2 调用数据库表的结构 17 3.3 系统结构图 19 3.4 各功能模块: 19 第4章 系统实现 23 4.1 系统流程图: 23 4.2登陆界面的实现: 26 4.3主界面的实现: 27 4.4风险控制界面的实现: 29 4.5透支持卡人的特性分析的实现: 29 4.5.1 透支持卡人特征分析主画面的实现 29 4.5.2 透支持卡人特征分析对比分析图的实现: 31 4.5.3 透支持卡人特征分析输出报表的实现: 32 4.6 透支持卡人年龄层次分析界面的实现: 32 4.6.1 透支持卡人年龄层次分析主界面的实现: 32 4.6.2 透支金额年龄层次分析对比分析图的实现: 34 4.7 冻结/止付/挂失卡的比例分析的实现: 37 4.8 透支总量的对比分析的实现: 37 4.9 持卡人、担保人的信用评估的实现: 37 第5章 信用卡数据分析系统软件说明书 40 5.1 软件概述 40 5.2 功能 40 5.3 软件安装 40 5.3.1系统要求 40 5.3.2安装前的准备 40 5.3.3安装 40 5.4 运行说明 40 第6章 对使用VB.NET建立本系统的展望 42 第7章 小结 43 参考文献 44 附 录 45 附录A: 外文资料翻译-原文部分: 45 附录B: 外文资料翻译-译文部分: 50
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值