金融风控--task01_赛题理解

Oh My God, 这是第4次参加Datawhale 组织的开源学习了，很感激。组织二维码如下，如果有兴趣的朋友可以添加关注公众号！
这一次打以这种比赛的方式进行学习，很期待！

话不多说，进入主题！！！！
1、赛题数据理解。
1.1 要求，以个人信贷为背景，根据背景信息预测其是否有违约的可能。典型的分类任务，且输出违约的可能性。
1.2 评价标准：
提交结果为每个样本是1的概率。评价方法为AUC评估（越大越好）。

AUC(Area Under Curve) AUC（Area Under Curve）被定义为 ROC曲线 下与坐标轴围成的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC越接近1.0，检测方法真实性越高;等于0.5时，则真实性最低，无应用价值。

1.3、数据格式为csv格式，每条数据由47列变量组成，也可以理解由47维特征。这其中的一些信息在我等P民申请房贷呀，车贷都有问道。比如贷款年限，年收入，月收入约月供比例呀等等，当时不是太懂，现在知道为啥了！！
1.4、 查看train.csv 文件，部分样本的存在特征缺失， 以及特征的非标准表达 如 < 10 + years，需要进行特征的转换表达。
1.5、关于分类指标评价计算
1.5.1 Confusion Matrix

## 混淆矩阵
import numpy as np
from sklearn.metrics import confusion_matrix
y_pred = [0, 1, 0, 1]
y_true = [0, 1, 1, 0]
print('混淆矩阵:\n',confusion_matrix(y_true, y_pred))

# output 
混淆矩阵: 
 [[1 1]
 [1 1]]

1.5.2 Accuracy

from sklearn.metrics import accuracy_score
y_pred = [0, 1, 0, 1]   # 预测结果
y_true = [0, 1, 1, 0]   # 标签
print('ACC:',accuracy_score(y_true, y_pred))


ACC: 0.5

1.5.3 Precision, Recall, F1-score

from sklearn import metrics
y_pred = [0, 1, 0, 1]
y_true = [0, 1, 1, 0]
print('Precision',metrics.precision_score(y_true, y_pred))
print('Recall',metrics.recall_score(y_true, y_pred))
print('F1-score:',metrics.f1_score(y_true, y_pred))

########output 
Precision 0.5
Recall 0.5
F1-score: 0.5

1.5.4 P-R 曲线

import matplotlib.pyplot as plt
from sklearn.metrics import precision_recall_curve
y_pred = [0, 1, 1, 0, 1, 1, 0, 1, 1, 1]
y_true = [0, 1, 1, 0, 1, 0, 1, 1, 0, 1]
precision, recall, thresholds = precision_recall_curve(y_true, y_pred)
plt.plot(precision, recall)
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.show()

1.5.5 ROC 曲线

from sklearn.metrics import roc_curve
y_pred = [0, 1, 1, 0, 1, 1, 0, 1, 1, 1]
y_true = [0, 1, 1, 0, 1, 0, 1, 1, 0, 1]
FPR,TPR,thresholds=roc_curve(y_true, y_pred)
plt.title('ROC')
plt.plot(FPR, TPR,'b')
plt.plot([0,1],[0,1],'r--')
plt.ylabel('TPR')
plt.xlabel('FPR')
plt.show()

1.5.6 AUC

import numpy as np
from sklearn.metrics import roc_auc_score
y_true = np.array([0, 0, 1, 1])
y_scores = np.array([0.1, 0.4, 0.35, 0.8])
print('AUC socre:',roc_auc_score(y_true, y_scores))

#### output
AUC score: 0.75

1.5.7 KS 值

## KS值 在实际操作时往往使用ROC曲线配合求出KS值
from sklearn.metrics import roc_curve
y_pred = [0, 1, 1, 0, 1, 1, 0, 1, 1, 1]
y_true = [0, 1, 1, 0, 1, 0, 1, 1, 1, 1]
FPR,TPR,thresholds=roc_curve(y_true, y_pred)
KS=abs(FPR-TPR).max()
print('KS值：',KS)

### output
KS值：  0.5238095238095237

关于KS 值的好坏区分能力。
KS(Kolmogorov-Smirnov) KS统计量由两位苏联数学家A.N. Kolmogorov和N.V. Smirnov提出。在风控中，KS常用于评估模型区分度。区分度越大，说明模型的风险排序能力（ranking ability）越强。 K-S曲线与ROC曲线类似，不同在于
ROC曲线将真正例率和假正例率作为横纵轴
K-S曲线将真正例率和假正例率都作为纵轴，横轴则由选定的阈值来充当。 公式如下： $$KS=max(TPR-FPR)$$ KS不同代表的不同情况，一般情况KS值越大，模型的区分能力越强，但是也不是越大模型效果就越好，如果KS过大，模型可能存在异常，所以当KS值过高可能需要检查模型是否过拟合。以下为KS值对应的模型情况，但此对应不是唯一的，只代表大致趋势。