2021-04-22

金融风控训练营task1学习笔记

task1金融风控    赛题理解

一、学习知识点概要

  1.赛题理解

   1)赛题         2)数据          3)预测指标       4)赛题流程        5)关于数据的读取

二、学习内容

    1)选手根据给定的数据集,建立模型,预测金融风险。


    2)数据概况

  • id 为贷款清单分配的唯一信用证标识
  • loanAmnt 贷款金额
  • term 贷款期限(year)
  • interestRate 贷款利率
  • installment 分期付款金额
  • grade 贷款等级
  • subGrade 贷款等级之子级
  • employmentTitle 就业职称
  • employmentLength 就业年限(年)
  • homeOwnership 借款人在登记时提供的房屋所有权状况
  • annualIncome 年收入
  • verificationStatus 验证状态
  • issueDate 贷款发放的月份
  • purpose 借款人在贷款申请时的贷款用途类别
  • postCode 借款人在贷款申请中提供的邮政编码的前3位数字
  • regionCode 地区编码
  • dti 债务收入比
  • delinquency_2years 借款人过去2年信用档案中逾期30天以上的违约事件数
  • ficoRangeLow 借款人在贷款发放时的fico所属的下限范围
  • ficoRangeHigh 借款人在贷款发放时的fico所属的上限范围
  • openAcc 借款人信用档案中未结信用额度的数量
  • pubRec 贬损公共记录的数量
  • pubRecBankruptcies 公开记录清除的数量
  • revolBal 信贷周转余额合计
  • revolUtil 循环额度利用率,或借款人使用的相对于所有可用循环信贷的信贷金额
  • totalAcc 借款人信用档案中当前的信用额度总数
  • initialListStatus 贷款的初始列表状态
  • applicationType 表明贷款是个人申请还是与两个共同借款人的联合申请
  • earliesCreditLine 借款人最早报告的信用额度开立的月份
  • title 借款人提供的贷款名称
  • policyCode 公开可用的策略代码=1新产品不公开可用的策略代码=2
  • n系列匿名特征 匿名特征n0-n14,为一些贷款人行为计数特征的处理

     

   3)预测指标

  采用AUC作为指标

  AUC的介绍:
                      AUC(Area Under Curve)被定义为ROC曲线下与坐标轴围成的面积,显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方,所以AUC的取值范围在0.5和1之间。AUC越接近1.0,检测方法真实性越高;等于0.5时,则真实性最低,无应用价值。    摘自  https://baike.baidu.com/item/AUC/19282953?fr=aladdin

  1.混淆矩阵

     若一个实例是正类,并且被预测为正类,即为真正类TP(True Positive )。同理,可得知还有:FP(False Positive),FN(False Negative),TN(False Negative)。

  2.准确率(Accuracy) 准确率是常用的一个评价指标,但是不适合样本不均衡的情况。   摘自  

                                                                                                        Accuracy=(TP+TN)/(TP+TN+FP+FN)

  3.精确率(Precision) 又称查准率,正确预测为正样本(TP)占预测为正样本(TP+FP)的百分比。

                                                                                                        Precision=TP/(TP+FP)

  4.召回率(Recall) 又称为查全率,正确预测为正样本(TP)占正样本(TP+FN)的百分比。

                                                                                                        Recall=TP/(TP+FN)

  5.F1 Score 精确率和召回率是相互影响的,精确率升高则召回率下降,召回率升高则精确率下降,如果需要兼顾二者,就需要精确率、召回率的结合F1 Score。

                                                                                                        F1−Score=2/(1/Precision)+(1/Recall)

 

  6、P-R曲线(Precision-Recall Curve) P-R曲线是描述精确率和召回率变化的曲线。

  7、ROC(Receiver Operating Characteristic)

  • ROC空间将假正例率(FPR)定义为 X 轴,真正例率(TPR)定义为 Y 轴。

TPR:在所有实际为正例的样本中,被正确地判断为正例之比率。

                                                                                                       TPR=TP/(TP+FN)

                                                                                                       TPR=TP/(TP+FN)

FPR:在所有实际为负例的样本中,被错误地判断为正例之比率。

 

                                                                                                       PR=FP/(FP+TN)

 


对于金融风控预测类常见的评估指标如下:                         (与本次比赛的预测指标无关,主要是增长见识)

1、KS(Kolmogorov-Smirnov) KS统计量由两位苏联数学家A.N. Kolmogorov和N.V. Smirnov提出。在风控中,KS常用于评估模型区分度。区分度越大,说明模型的风险排序能力(ranking ability)越强。 K-S曲线与ROC曲线类似,不同在于

  • ROC曲线将真正例率和假正例率作为横纵轴
  • K-S曲线将真正例率和假正例率都作为纵轴,横轴则由选定的阈值来充当。 公式如下:KS=max(TPR−FPR)KS=max(TPR−FPR)KS不同代表的不同情况,一般情况KS值越大,模型的区分能力越强,但是也不是越大模型效果就越好,如果KS过大,模型可能存在异常,所以当KS值过高可能需要检查模型是否过拟合。以下为KS值对应的模型情况,但此对应不是唯一的,只代表大致趋势。
KS(%)好坏区分能力
20以下不建议采用
20-40较好
41-50良好
51-60很强
61-75非常强
75以上过于高,疑似存在问题

2、ROC

3、AUC


 


  4)赛题流程(图抠不出来,详见链接)

  5)关于数据的读取

 

 

       读取数据有两种方法,第一种通过wget命令从链接直接下载数据到 dsw,另一种就是可以直接利用pandas读取链接数据。

       (详细操作可以看后面相关链接)

 

三、学习问题与解答

  目前学习问题还不算是很大,大部分的东西都能看懂,但是相关的案例还是觉得接触较少。

  所以,到网上查看相关示例,以提升自己对此内容的深度了解与自己是否真正懂了。

四、学习思考与总结

  这一次的课程,是为了让我们知道我们参与此次活动的赛题。就以目标而言,我觉得我已经基本达成了想达到的目标,但是相关的一些内容由于接触较少,所以还是有很大的进步的空间,例如相关的预测方法与相对应需要了解的数值,以及python等机器语言的学习,还需要更加全面的发展。

 

摘自 https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.20850282.J_3678908510.2.f2984d57YA5NCe&postId=170948

——2021.4.22  20.17

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值