Datawhale组队学习 Task1分类模型评价指标

第一次这种以组队的方式参与学习，一边打卡一边也相当于以博客的形式记录下自己的学习过程，希望能好好坚持下去吧~

一、赛题理解

1.1 赛题链接

本次组队学习的内容为：数据挖掘实践（金融风控），该内容来自 Datawhale与天池联合发起的 零基础入门数据挖掘 - 贷款违约预测 学习赛的第一场。
比赛地址:
https://tianchi.aliyun.com/competition/entrance/531830/information
项目地址：
：https://github.com/datawhalechina/team-learning-data-mining/tree/master/FinancialRiskControl

1.2 学习目标

理解赛题数据和目标，清楚评分体系
完成相应报名，下载数据和结果提交打卡（可提交示例结果），熟悉比赛流程。【已完成，哈哈】

二、评价指标

本次比赛项目评价指标:AUC

2.1 分类模型评价指标

预测/实际	正类【实际】	负类【实际】
正类【预测】	TP	FP
负类【预测】	FN	TN

1、混淆矩阵（Confuse Matrix）

（1）若一个实例是正类，并且被预测为正类，即为真正类TP(True Positive )
（2）若一个实例是正类，但是被预测为负类，即为假负类FN(False Negative )
（3）若一个实例是负类，但是被预测为正类，即为假正类FP(False Positive )
（4）若一个实例是负类，并且被预测为负类，即为真负类TN(True Negative )

y_pred = [0, 1, 0, 1]
y_true = [0, 1, 1, 0]
print('混淆矩阵:\n',confusion_matrix(y_true, y_pred))

2、准确率（Accuracy）
准确率是常用的一个评价指标，但是不适合样本不均衡的情况。 $$Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$$

from sklearn.metrics import accuracy_score
y_pred = [0, 1, 0, 1]
y_true = [0, 1, 1, 0]
print('ACC:',accuracy_score(y_true, y_pred))

3、精确率（Precision）
精确率（Precision） 又称查准率，正确预测为正样本（TP）占预测为正样本(TP+FP)的百分比。 $$Precision=\frac{TP}{TP+FP}$$
4、召回率（Recall)
召回率（Recall） 又称为查全率，正确预测为正样本（TP）占正样本(TP+FN)的百分比。 $$Recall=\frac{TP}{TP+FN}$$

5、F1 Score
由于精确率和召回率是相互影响的，精确率升高则召回率下降，召回率升高则精确率下降，如果需要兼顾二者，就需要精确率、召回率的结合F1 Score。 $$F1-Score=\frac{2}{\frac{1}{Precision}+\frac{1}{Recall}}$$

from sklearn import metrics
y_pred = [0, 1, 0, 1]
y_true = [0, 1, 1, 0]
print('Precision',metrics.precision_score(y_true, y_pred))
print('Recall',metrics.recall_score(y_true, y_pred))
print('F1-score:',metrics.f1_score(y_true, y_pred))

6、P-R曲线（Precision-Recall Curve）
P-R曲线是描述精确率和召回率变化的曲线

import matplotlib.pyplot as plt
from sklearn.metrics import precision_recall_curve
y_pred = [0, 1, 1, 0, 1, 1, 0, 1, 1, 1]
y_true = [0, 1, 1, 0, 1, 0, 1, 1, 0, 1]
precision, recall, thresholds = precision_recall_curve(y_true, y_pred)
plt.plot(precision, recall)
plt.show()

7、ROC曲线（Receiver Operating Characteristic）
ROC空间将假正例率（FPR）定义为 X 轴，真正例率（TPR）定义为 Y 轴。
TPR：在所有实际为正例的样本中，被正确地判断为正例之比率。 $$TPR=\frac{TP}{TP+FN}$$ FPR：在所有实际为负例的样本中，被错误地判断为正例之比率。 $$FPR=\frac{FP}{FP+TN}$$

from sklearn.metrics import roc_curve
y_pred = [0, 1, 1, 0, 1, 1, 0, 1, 1, 1]
y_true = [0, 1, 1, 0, 1, 0, 1, 1, 0, 1]
FPR,TPR,thresholds=roc_curve(y_true, y_pred)
plt.title('ROC')
plt.plot(FPR, TPR,'b')
plt.plot([0,1],[0,1],'r--')
plt.ylabel('TPR')
plt.xlabel('FPR')

**8、AUC(Area Under Curve) **
AUC被定义为 ROC曲线 下与坐标轴围成的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC越接近1.0，检测方法真实性越高;等于0.5时，则真实性最低，无应用价值。

import numpy as np
from sklearn.metrics import roc_auc_score
y_true = np.array([0, 0, 1, 1])
y_scores = np.array([0.1, 0.4, 0.35, 0.8])
print('AUC socre:',roc_auc_score(y_true, y_scores))

三、代码示例

用的jupyter notebook，开始设置一些显示问题

3.1 设置显示问题，显示所有结果，而不是最后一行代码的结果

from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity="all"  

pd.set_option('display.max_rows',10000)
pd.set_option('display.max_columns',10000)

3.2 读取数据

import pandas as pd
import numpy as np
import matplotlib.pyplot as mlt

df1=pd.read_csv('train.csv')
df1.shape
df1.head(1)

一般而言，对于数据在比赛界面都有对应的数据概况介绍（匿名特征除外），说明列的性质特征。了解列的性质会有助于我们对于数据的理解和后续分析。 Tip:匿名特征，就是未告知数据列所属的性质的特征列。

train.csv

id ：为贷款清单分配的唯一信用证标识
loanAmnt ：贷款金额
term ：贷款期限（year）
interestRate ：贷款利率
installment： 分期付款金额
grade ：贷款等级
subGrade： 贷款等级之子级
employmentTitle： 就业职称
employmentLength： 就业年限（年）
homeOwnership： 借款人在登记时提供的房屋所有权状况
annualIncome： 年收入
verificationStatus： 验证状态
issueDate ：贷款发放的月份
purpose ：借款人在贷款申请时的贷款用途类别
postCode： 借款人在贷款申请中提供的邮政编码的前3位数字
regionCode ：地区编码
dti ：债务收入比
delinquency_2years ：借款人过去2年信用档案中逾期30天以上的违约事件数
ficoRangeLow ：借款人在贷款发放时的fico所属的下限范围
ficoRangeHigh ：借款人在贷款发放时的fico所属的上限范围
openAcc ：借款人信用档案中未结信用额度的数量
pubRec： 贬损公共记录的数量
pubRecBankruptcies： 公开记录清除的数量
revolBal ：信贷周转余额合计
revolUtil ：循环额度利用率，或借款人使用的相对于所有可用循环信贷的信贷金额
totalAcc ：借款人信用档案中当前的信用额度总数
initialListStatus： 贷款的初始列表状态
applicationType： 表明贷款是个人申请还是与两个共同借款人的联合申请
earliesCreditLine ：借款人最早报告的信用额度开立的月份
title ：借款人提供的贷款名称
policyCode： 公开可用的策略_代码=1新产品不公开可用的策略_代码=2
n系列匿名特征： 匿名特征n0-n14，为一些贷款人行为计数特征的处理

总结：很好的帮助自己巩固了分类评价指标相关内容，也把代码记下来了，边学习边记录边打卡的过程，继续坚持，加油！