天池竞赛-金融风控-task1

一、赛题理解

赛题以预测用户贷款是否违约为任务，数据集报名后可见并可下载，该数据来自某信贷平台的贷款记录，总数据量超过120w，包含47列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取80万条作为训练集，20万条作为测试集A，20万条作为测试集B，同时会对employmentTitle、purpose、postCode和title等信息进行脱敏。

字段表

Field	Description
id	为贷款清单分配的唯一信用证标识
loanAmnt	贷款金额
term	贷款期限（year）
interestRate	贷款利率
installment	分期付款金额
grade	贷款等级
subGrade	贷款等级之子级
employmentTitle	就业职称
employmentLength	就业年限（年）
homeOwnership	借款人在登记时提供的房屋所有权状况
annualIncome	年收入
verificationStatus	验证状态
issueDate	贷款发放的月份
purpose	借款人在贷款申请时的贷款用途类别
postCode	借款人在贷款申请中提供的邮政编码的前3位数字
regionCode	地区编码
dti	债务收入比
delinquency_2years	借款人过去2年信用档案中逾期30天以上的违约事件数
ficoRangeLow	借款人在贷款发放时的fico所属的下限范围
ficoRangeHigh	借款人在贷款发放时的fico所属的上限范围
openAcc	借款人信用档案中未结信用额度的数量
pubRec	贬损公共记录的数量
pubRecBankruptcies	公开记录清除的数量
revolBal	信贷周转余额合计
revolUtil	循环额度利用率，或借款人使用的相对于所有可用循环信贷的信贷金额
totalAcc	借款人信用档案中当前的信用额度总数
initialListStatus	贷款的初始列表状态
applicationType	表明贷款是个人申请还是与两个共同借款人的联合申请
earliesCreditLine	借款人最早报告的信用额度开立的月份
title	借款人提供的贷款名称
policyCode	公开可用的策略_代码=1新产品不公开可用的策略_代码=2
n系列匿名特征	匿名特征n0-n14，为一些贷款人行为计数特征的处理

结果评价
提交结果为每个测试样本是1的概率，也就是y为1的概率。评价方法为AUC评估模型效果（越大越好）。AUC（Area Under Curve）被定义为 ROC曲线 下与坐标轴围成的面积。

二、常用评估指标

2.1 分类算法常用评价标准

混沌矩阵(Confuse Matrix)

类别	描述
真正类(True Positive, TP)	实际分类为正类，且预测分类为正类
假正类(False Positive, FP)	实际分类为负类，但预测分类为正类
真负类(True Negative, TN)	实际分类为负类，且预测分类为负类
假负类(False Negative, FN)	实际分类为正类，但预测分类为负类

简易理解准确率、精确率和召回率。

类别	描述
准确率	对角线/整体
精确率	TP/整行
召回率	TP/整列

准确率(Accuracy)
准确率是评价的一个常用指标，但不适用于样本不均衡的情况。
$Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$

精确率(Precision)
又称为查准率，计算正确预测为正样本(TP)占预测为正样本(TP+NP)的百分比。
$Precision=\frac{TP}{TP+FP}$

召回率(Recall)
又称为查全率，计算正确预测我正样本(TP)占真实为正样本(TP+FN)的百分比。
$Recall=\frac{TP}{TP+FN}$

F1-Score
精确率和召回率是相互影响的，两者成反比例，如果需要兼顾两者，则采用F1-Score评价标准。
$F1-Score=\frac{2}{\frac{1}{Precision}+\frac{1}{Recall}}$

P-R曲线(Presicion-Recall Curve)
P-R曲线是描述精确度和召回率相互影响变化的曲线。

ROC(Receiver Operating Characteristic)
ROC空间将假正例率(False Positive Rate, FPR)定义为X轴，真正例率(True Positive Rate, TPR)定义为Y轴。
TPR:在所有实际为正类的样本中，被正确判断为正类的比率(也就是Recall)。
$TPR=\frac{TP}{TP+FN}$
FPR：在所有实际为负类的样本中，被错误判断为负类的比率。
$FPR=\frac{FP}{FP+TN}$

• Question：为什么计算两个比率后会得到一条曲线？
• Answer：对于样本的预测结果是概率，而被判断为正类还是负类是根据预先设定的阈值进行判断，当去不同的阈值时，所得到的的TPR和FPR坐标也就不同，将得到的所有坐标相连，就得到了最后的ROC曲线图。

AUC(Area Under Curve)
AUC(Area Under Curve)被定义为 ROC曲线下与坐标轴围成的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC越接近1.0，检测方法真实性越高;等于0.5时，则真实性最低，无应用价值。

2.2 金融风控常用评价指标

金融风控常见的评价指标包括上边提到的ROC和AUC，还有K-S曲线。
K-S曲线将真正例率和假正例率都作为纵轴，横轴则由选定的阈值来充当。

$KS=max(TPR-FPR)$
KS值代表着两条曲线的最大差值。
一般情况KS值越大，模型的区分能力越强，但是也不是越大模型效果就越好，如果KS过大，模型可能存在异常，所以当KS值过高可能需要检查模型是否过拟合。以下为KS值对应的模型情况，但此对应不是唯一的，只代表大致趋势。

• KS值<0.2,一般认为模型没有区分能力。
• KS值[0.2,0.3],模型具有一定区分能力，勉强可以接受
• KS值[0.3,0.5],模型具有较强的区分能力。
• KS值大于0.75，往往表示模型有异常

三、代码示例

数据集加载

import pandas as pd
train = pd.read_csv('train.csv')
testA = pd.read_csv('testA.csv')

print('Train data shape:',train.shape)
print('TestA data shape:',testA.shape)

Train data shape: (800000, 47)
TestA data shape: (200000, 48)

train.head()

	id	loanAmnt	term	interestRate	installment	grade	subGrade	employmentTitle	employmentLength	homeOwnership	...	n5	n6	n7	n8	n9	n10	n11	n12	n13	n14
0	0	35000.0	5	19.52	917.97	E	E2	320.0	2 years	2	...	9.0	8.0	4.0	12.0	2.0	7.0	0.0	0.0	0.0	2.0
1	1	18000.0	5	18.49	461.90	D	D2	219843.0	5 years	0	...	NaN	NaN	NaN	NaN	NaN	13.0	NaN	NaN	NaN	NaN
2	2	12000.0	5	16.99	298.17	D	D3	31698.0	8 years	0	...	0.0	21.0	4.0	5.0	3.0	11.0	0.0	0.0	0.0	4.0
3	3	11000.0	3	7.26	340.96	A	A4	46854.0	10+ years	1	...	16.0	4.0	7.0	21.0	6.0	9.0	0.0	0.0	0.0	1.0
4	4	3000.0	3	12.99	101.07	C	C2	54.0	NaN	1	...	4.0	9.0	10.0	15.0	7.0	12.0	0.0	0.0	0.0	4.0

5 rows × 47 columns

混沌矩阵

import numpy as np
from sklearn.metrics import confusion_matrix

y_pred = [0,1,0]
y_true = [0,0,1]
matrix = confusion_matrix(y_true,y_pred)
print('混沌矩阵:\n',matrix)

混沌矩阵:
 [[1 1]
 [1 0]]

准确率

from sklearn.metrics import accuracy_score
y_pred = [0,1,0,1]
y_true = [0,1,1,0]
print('ACC:',accuracy_score(y_true,y_pred))

ACC: 0.5

精确率、召回率和F1-Score

from sklearn import metrics
y_pred = [0,1,0,1]
y_true = [0,1,1,0]
print('Precision:',metrics.precision_score(y_true,y_pred))
print('Recall:',metrics.recall_score(y_true,y_pred))
print('F1-Score:',metrics.f1_score(y_true,y_pred))

Precision: 0.5
Recall: 0.5
F1-Score: 0.5

P-R曲线

import matplotlib.pyplot as plt
from sklearn.metrics import precision_recall_curve
y_pred = [0,1,1,0,1,1,0,1,1,1]
y_true = [0,1,1,0,1,0,1,1,0,1]
precision,recall,thresholds = precision_recall_curve(y_true,y_pred)
plt.plot(precision,recall)
plt.show()

ROC曲线

from sklearn.metrics import roc_curve
y_pred = [0,1,1,0,1,1,0,1,1,1]
y_true = [0,1,1,0,1,0,1,1,0,1]
# 固定标签了所以只有一个点
FPR, TPR, thresholds = roc_curve(y_true,y_pred)
plt.title('ROC')
plt.plot(FPR,TPR, 'b')
plt.plot([0,1],[0,1],'r--')
plt.ylabel('TPR')
plt.xlabel('FPR')

Text(0.5,0,'FPR')

import numpy as np 
from sklearn.metrics import roc_auc_score
y_true = np.array([0,0,1,1])
y_scores = np.array([0.1,0.4,0.35,0.8])
# scores为样本为真的概率    
# 在画ROC曲线时阈值不断增大预测标签就会发生改变从而得到不同的FPR和TPR

FPR, TPR, thresholds = roc_curve(y_true,y_scores)
plt.title('ROC')
plt.plot(FPR,TPR, 'b')
plt.plot([0,1],[0,1],'r--')
plt.ylabel('TPR')
plt.xlabel('FPR')

Text(0.5,0,'FPR')

AUC

import numpy as np 
from sklearn.metrics import roc_auc_score
y_true = np.array([0,0,1,1])
y_scores = np.array([0.1,0.4,0.35,0.8])
# scores为样本为真概率
print('AUC score:',roc_auc_score(y_true, y_scores))

AUC score: 0.75