小白金融风控TASK1

Task1 赛题理解

赛事背景：本次新人赛是Datawhale与天池联合发起的0基础入门系列赛事第四场 —— 零基础入门金融风控之贷款违约预测挑战赛。
赛题以金融风控中的个人信贷为背景，要求选手根据贷款申请人的数据信息预测其是否有违约的可能，以此判断是否通过此项贷款，这是一个典型的分类问题。通过这道赛题来引导大家了解金融风控中的一些业务背景，解决实际问题，帮助竞赛新人进行自我练习、自我提高。

1.1学习目标

理解赛题数据和目标，清楚评分体系。完成相应报名，下载数据和结果提交打卡（可提交示例结果）

1.赛题概况
2. 数据概况
3. 预测指标
4. 分析赛题

1.2赛题情况

赛题以预测金融风险为任务，数据集报名后可见并可下载，该数据来自某信贷平台的贷款记录，总数据量超过120w，包含47列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取80万条作为训练集，20万条作为测试集A，20万条作为测试集B，同时会对employmentTitle、purpose、postCode和title等信息进行脱敏。最终得到的结果是判断用户是否有违约的可能，以判断是否通过贷款。

1.3数据情况

数据在比赛界面会介绍数据集列的特征。匿名特征，就是未告知数据列所属的性质的特征列。

1. id 为贷款清单分配的唯一信用证标识
2. loanAmnt 贷款金额
3. term 贷款期限（year）
4. interestRate 贷款利率
5. installment 分期付款金额
6. grade 贷款等级
7. subGrade 贷款等级之子级
8. employmentTitle 就业职称
9. employmentLength 就业年限（年）
10. homeOwnership 借款人在登记时提供的房屋所有权状况
11. annualIncome 年收入
12. verificationStatus 验证状态
13. issueDate 贷款发放的月份
14. purpose 借款人在贷款申请时的贷款用途类别
15. postCode 借款人在贷款申请中提供的邮政编码的前3位数字
16. regionCode 地区编码
17. dti 债务收入比
18. delinquency_2years 借款人过去2年信用档案中逾期30天以上的违约事件数
19. ficoRangeLow 借款人在贷款发放时的fico所属的下限范围
20. ficoRangeHigh 借款人在贷款发放时的fico所属的上限范围
21. openAcc 借款人信用档案中未结信用额度的数量
22. pubRec 贬损公共记录的数量
23. pubRecBankruptcies 公开记录清除的数量
24. revolBal 信贷周转余额合计
25. revolUtil 循环额度利用率，或借款人使用的相对于所有可用循环信贷的信贷金额
26. totalAcc 借款人信用档案中当前的信用额度总数
27. initialListStatus 贷款的初始列表状态
28. applicationType 表明贷款是个人申请还是与两个共同借款人的联合申请
29. earliesCreditLine 借款人最早报告的信用额度开立的月份
30. title 借款人提供的贷款名称
31. policyCode 公开可用的策略代码=1新产品不公开可用的策略代码=2
32. n系列匿名特征 匿名特征n0-n14，为一些贷款人行为计数特征的处理

1.4预测指标

竞赛采用AUC作为评价指标。AUC（Area Under Curve）被定义为 ROC曲线 下与坐标轴围成的面积。

1.4.1 常见分类算法评估指标

1、混淆矩阵（Confuse Matrix）
（1）若一个实例是正类，并且被预测为正类，即为真正类TP(True Positive )
（2）若一个实例是正类，但是被预测为负类，即为假负类FN(False Negative )
（3）若一个实例是负类，但是被预测为正类，即为假正类FP(False Positive )
（4）若一个实例是负类，并且被预测为负类，即为真负类TN(True Negative )
2、准确率（Accuracy）
准确率是常用的一个评价指标，但是不适合样本不均衡的情况。
3、精确率（Precision）
又称查准率，正确预测为正样本（TP）占预测为正样本(TP+FP)的百分比。
4、召回率（Recall）
又称为查全率，正确预测为正样本（TP）占正样本(TP+FN)的百分比。
5、F1 Score
精确率和召回率是相互影响的，精确率升高则召回率下降，召回率升高则精确率下降，如果需要兼顾二者，就需要精确率、召回率的结合F1 Score。
6、P-R曲线（Precision-Recall Curve）
P-R曲线是描述精确率和召回率变化的曲线
7、ROC（Receiver Operating Characteristic）
ROC空间将假正例率（FPR）定义为 X 轴，真正例率（TPR）定义为 Y 轴。
TPR：在所有实际为正例的样本中，被正确地判断为正例之比率。
FPR：在所有实际为负例的样本中，被错误地判断为正例之比率。
8、AUC(Area Under Curve)
AUC（Area Under Curve）被定义为 ROC曲线 下与坐标轴围成的面积，显然这个面积的数值不会大于1。又由于
ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC越接近1.0，检测方法真实性越
高;等于0.5时，则真实性最低，无应用价值。

1.4.2 金融风控预测类常见的评估指标

1、KS(Kolmogorov-Smirnov)
K-S曲线与ROC曲线类似，不同在于：ROC曲线将真正例率和假正例率作为横纵轴； K-S曲线将真正例率和假正例率都作为纵轴，横轴则由选定的阈值来充当。
公式如下：
KS=max(TPR-FPR)
KS不同，代表不同情况，一般情况KS值越大，模型的区分能力越强，但是也不是越大模型效果就越好，如果KS过大，模型可能存在异常，所以当KS值过高可能需要检查模型是否过拟合。以下为KS值对应的模型情况，但此对应不是唯一的，只代表大致趋势。

KS(%)	项目好坏区分能力
20以下	模型没有区分能力
20-30	模型有一定区分能力，勉强接受
30-50	模型有较强区分能力
50-75	模型有很强区分能力
大于75	过高，模型勋在异常

2、ROC
3、AUC

1.5 赛题流程

:

1.6 代码样例

1.6.1读取数据

// 
import pandas as pd
import numpy as np
from pandas import Series,DataFrame
train_data=pd.read_csv("E:/train_set/FinancialRiskControl/FinancialRiskControl/set/train.csv")
testA_data=pd.read_csv("E:/train_set/FinancialRiskControl/FinancialRiskControl/set/testA.csv")
print(train_data.shape)
print(testA_data.shape)

1.6.2 简单查看数据

用info()方法简单查看数据属性，由此可见训练集有80000条，有的属性存在缺失值，如employmentTitle，数据类型主要由fioat构成。

//train_data.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 800000 entries, 0 to 799999
Data columns (total 47 columns):
 #   Column              Non-Null Count   Dtype  
---  ------              --------------   -----  
 0   id                  800000 non-null  int64  
 1   loanAmnt            800000 non-null  float64
 2   term                800000 non-null  int64  
 3   interestRate        800000 non-null  float64
 4   installment         800000 non-null  float64
 5   grade               800000 non-null  object 
 6   subGrade            800000 non-null  object 
 7   employmentTitle     799999 non-null  float64
 8   employmentLength    753201 non-null  object 
 9   homeOwnership       800000 non-null  int64  
 10  annualIncome        800000 non-null  float64
 11  verificationStatus  800000 non-null  int64  
 12  issueDate           800000 non-null  object 
 13  isDefault           800000 non-null  int64  
 14  purpose             800000 non-null  int64  
 15  postCode            799999 non-null  float64
 16  regionCode          800000 non-null  int64  
 17  dti                 799761 non-null  float64
 18  delinquency_2years  800000 non-null  float64
 19  ficoRangeLow        800000 non-null  float64
 20  ficoRangeHigh       800000 non-null  float64
 21  openAcc             800000 non-null  float64
 22  pubRec              800000 non-null  float64
 23  pubRecBankruptcies  799595 non-null  float64
 24  revolBal            800000 non-null  float64
 25  revolUtil           799469 non-null  float64
 26  totalAcc            800000 non-null  float64
 27  initialListStatus   800000 non-null  int64  
 28  applicationType     800000 non-null  int64  
 29  earliesCreditLine   800000 non-null  object 
 30  title               799999 non-null  float64
 31  policyCode          800000 non-null  float64
 32  n0                  759730 non-null  float64
 33  n1                  759730 non-null  float64
 34  n2                  759730 non-null  float64
 35  n3                  759730 non-null  float64
 36  n4                  766761 non-null  float64
 37  n5                  759730 non-null  float64
 38  n6                  759730 non-null  float64
 39  n7                  759730 non-null  float64
 40  n8                  759729 non-null  float64
 41  n9                  759730 non-null  float64
 42  n10                 766761 non-null  float64
 43  n11                 730248 non-null  float64
 44  n12                 759730 non-null  float64
 45  n13                 759730 non-null  float64
 46  n14                 759730 non-null  float64
dtypes: float64(33), int64(9), object(5)
memory usage: 286.9+ MB


//