Datawhale 零基础入门金融风控-贷款违约预测-Task1 赛题理解

赛题：零基础入门数据挖掘 - 二手车交易价格预测
赛题地址

1 学习目标

• 理解赛题数据和目标，清楚评分体系。
• 完成相应报名，下载数据和结果提交打卡，熟悉比赛流程。

2 了解赛题

• 赛题概况
• 数据概况
• 预测指标
• 分析赛题

2.1赛题概况

       赛题以金融风控中的个人信贷为背景，要求选手根据贷款申请人的数据信息预测其是否有违约的可能，以此判断是否通过此项贷款，这是一个典型的分类问题。
       赛题以预测用户贷款是否违约为任务，数据集报名后可见并可下载，该数据来自某信贷平台的贷款记录，总数据量超过120w，包含47列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取80万条作为训练集，20万条作为测试集A，20万条作为测试集B，同时会对employmentTitle、purpose、postCode和title等信息进行脱敏。
       通过这道赛题来引导大家了解金融风控中的一些业务背景，解决实际问题，帮助竞赛新人进行自我练习、自我提高。

2.2 数据概况

       除匿名特征（未告知数据列性质的特征列）外的数据会有相应介绍，对列数据的性质特征进行说明。了解列的性质会有助于加深我们对数据的理解，以便于后续分析。
       
train.csv

• id - 为贷款清单分配的唯一信用证标识
• loanAmnt - 贷款金额
• term - 贷款期限（year）
• interestRate - 贷款利率
• installment - 分期付款金额
• grade - 贷款等级
• subGrade - 贷款等级之子级
• employmentTitle - 就业职称
• employmentLength - 就业年限（年）
• homeOwnership - 借款人在登记时提供的房屋所有权状况
• annualIncome - 年收入
• verificationStatus - 验证状态
• issueDate - 贷款发放的月份
• purpose - 借款人在贷款申请时的贷款用途类别
• postCode - 借款人在贷款申请中提供的邮政编码的前3位数字
• regionCode - 地区编码
• dti - 债务收入比
• delinquency_2years - 借款人过去2年信用档案中逾期30天以上的违约事件数
• ficoRangeLow - 借款人在贷款发放时的fico所属的下限范围
• ficoRangeHigh - 借款人在贷款发放时的fico所属的上限范围
• openAcc - 借款人信用档案中未结信用额度的数量
• pubRec - 贬损公共记录的数量
• pubRecBankruptcies - 公开记录清除的数量
• revolBal - 信贷周转余额合计
• revolUtil - 循环额度利用率，或借款人使用的相对于所有可用循环信贷的信 贷金额
• totalAcc - 借款人信用档案中当前的信用额度总数
• initialListStatus - 贷款的初始列表状态
• applicationType - 表明贷款是个人申请还是与两个共同借款人的联合申请
• earliesCreditLine - 借款人最早报告的信用额度开立的月份
• title - 借款人提供的贷款名称
• policyCode - 公开可用的策略_代码=1新产品不公开可用的策略_代码=2
• n - 系列匿名特征 匿名特征n0-n14，为一些贷款人行为计数特征的处理

2.3 预测指标

       本赛题的评分标准为提交结果为每个测试样本是1的概率，也就是y为1的概率。
       评价方法为AUC评估模型效果（越大越好）。

2.4 分析赛题

1. 此题为传统的数据分析问题，通过机器学习、深度学习和数据科学方法进行建模以得到任务要求的结果。
2. 此题是一个典型的分类问题。
3. 主要应用xgb、lgb、catboost方法，以及pandas、numpy、matplotlib、seabon、sklearn、keras等等数据挖掘常用库或者框架来进行数据分析、挖掘任务。

3 代码示例

本部分为对于数据读取和指标评价的示例。

3.1 数据读取

import pandas as pd
import numpy as np

## 1) 载入训练集和测试集；
Train_data = pd.read_csv('train.csv', sep=',')
Test_data = pd.read_csv('testA.csv', sep=',')

print('Train data shape:',Train_data.shape)
print('TestA data shape:',Test_data.shape)

Train data shape: (800000, 47)
TestA data shape: (200000, 46)

3.2 分类指标评价计算示例

## auc
import numpy as np
from sklearn.metrics import roc_auc_score
y_pred = [0, 1, 0, 1]
y_true = [0, 1, 1, 1]
print('ACC:',roc_auc_score(y_true, y_pred))

ACC: 0.8333333333333333

## Precision,Recall,F1-score
from sklearn import metrics
y_pred = [0, 1, 0, 0]
y_true = [0, 1, 0, 1]
print('Precision',metrics.precision_score(y_true, y_pred))
print('Recall',metrics.recall_score(y_true, y_pred))
print('F1-score:',metrics.f1_score(y_true, y_pred))

Precision 1.0
Recall 0.5
F1-score: 0.6666666666666666

4 经验总结

• 理解赛题本质（分类还是回归），从赛题背景引发的赛题任务理解其中的任务逻辑，有意义的外在数据，并对赛题数据作初步了解，了解任务的相关数据，数据之间的关联逻辑。
• 弄明白赛题的问题和需用到的指标，是否做到线上线下一致，是否有利于我们进一步的探索更高线上分数的线下验证方法；深刻了解原始特征，通过EDA来寻求他们的直接关系，构造合格的特征。
• 理解赛题的评价指标，不同评价指标对于同样的预测结果具有误差敏感的差异性，如AUC，logloss, MAE，RSME，或者特定的评价函数，会有很大可能影响后续的预测侧重点。