零基础入门数据挖掘之金融风控-贷款违约预测

摘要

在实践中学，很高兴有这次机会，与志同道合的小伙伴一起学习，本次主要通过天池实际比赛项目学习数据挖掘相关理论知识及分析流程。本文主要内容：解赛题数据和目标，清楚评分体系。 [天池比赛地址：](https://tianchi.aliyun.com/competition/entrance/531830/introduction)

---

1.数据概况

说白了就是看看有多少数据，都有什么数据，那些字段，都是什么意思；然后充分理解赛题的业务目标，选择合适的方法进行分析，本赛题数据大概100多万，近50个字段，如果用监督学习要将样本分为训练集和测试集，通常按照8：2的比例进行拆分，比赛数据已经拆分好了，不用再次处理。

2.数据读取

读取数据文件，并查看数据基本情况

代码如下：

import pandas as pd

train = pd.read_csv('train.csv') #读取文件
testA = pd.read_csv('testA.csv')

print("train data shape:",train.shape) #查看数据大小，输出（行，列）
print("testA data shape:",testA.shape)

pd.set_option('display.max_columns', None) # 显示所有列设置
#pd.set_option('display.max_rows', None)
train.head(10) #读取前10行数据，不传参默认显示前5行

plot as plt
import seaborn as sns
import warnings
warnings.filterwarnings('ignore')
import  ssl
ssl._create_default_https_context = ssl._create_unverified_context

结果如下：

3.分类指标评价计算

分类算法常见的评估指标如下：
1、混淆矩阵（Confuse Matrix）
2、准确率（Accuracy）
3、精确率（Precision）
4、召回率（Recall）
5、F1 Score
6、P-R曲线（Precision-Recall Curve）
7、ROC（Receiver Operating Characteristic）
8、AUC(Area Under Curve)

对于金融风控预测类常见的评估指标如下:
1、KS(Kolmogorov-Smirnov)
2、ROC
3、AUC

各类评估指标实现代码如下：

## 1.计算并输出混淆矩阵
import numpy as np
from sklearn.metrics import confusion_matrix
y_pred