写在前面:
刚接触数据挖掘,看了几页python就跳进了这个大坑,也不知道该咋写这个博客,先瞎写着吧。介绍下自己参加的这个项目,是Datawhale和天池比赛联合发起的,我们在Datawhale组对学习,然后自愿参加报名天池比赛。Datawhale是一个AI领域的开源学习组织,我个人很敬佩他们的创始者,至少目前让我感觉这是一个很不错的组织;天池是阿里云旗下的一个组织,也是专注于AI领域的,我上去看了下,里面也有很多关于AI的学习视频和比赛。两者结合,我感觉自己一定会有所收获的。下面开始介绍我现在接触的入门项目——零基础入门金融风控之贷款违约预测。
*************************************************我是分界线**************************************************************************************
这个项目分5个任务开展,今天就写一下Task1:赛题理解
任务目标:预测用户贷款是否违约
数据:
数据获取需要注册天池比赛,然后才可在对应的赛事中下载数据。
(天池比赛链接:https://tianchi.aliyun.com/competition/entrance/531830/introduction)
总数据量120w,47列变量信息,其中15列为匿名变量;80万条作为训练集,20万条作为测试集A,20万条作为测试集B。
数据字段:是对数据中15列变量的说明。
字段 | 描述 |
---|---|
id | 为贷款清单分配的唯一信用证标识 |
loanAmnt | 贷款金额 |
term | 贷款期限(year) |
interestRate | 贷款利率 |
installment | 分期付款金额 |
grade | 贷款等级 |
subGrade | 贷款等级之子级 |
employmentTitle | 就业职称 |
employmentLength | 就业年限(年) |
homeOwnership | 借款人在登记时提供的房屋所有权状况 |
annualIncome | 年收入 |
verificationStatus | 验证状态 |
issueDate | 贷款发放的月份 |
purpose | 借款人在贷款申请时的贷款用途类别 |
postCode | 借款人在贷款申请中提供的邮政编码的前3位数字 |
regionCode | 地区编码 |
dti | 债务收入比 |
delinquency_2years | 借款人过去2年信用档案中逾期30天以上的违约事件数 |
ficoRangeLow | 借款人在贷款发放时的fico所属的下限范围 |
ficoRangeHigh | 借款人在贷款发放时的fico所属的上限范围 |
openAcc | 借款人信用档案中未结信用额度的数量 |
pubRec | 贬损公共记录的数量 |
pubRecBankruptcies | 公开记录清除的数量 |
revolBal | 信贷周转余额合计 |
revolUtil | 循环额度利用率,或借款人使用的相对于所有可用循环信贷的信贷金额 |
totalAcc | 借款人信用档案中当前的信用额度总数 |
initialListStatus | 贷款的初始列表状态 |
applicationType | 表明贷款是个人申请还是与两个共同借款人的联合申请 |
earliesCreditLine | 借款人最早报告的信用额度开立的月份 |
title | 借款人提供的贷款名称 |
policyCode | 公开可用的策略_代码=1新产品不公开可用的策略_代码=2 |
n系列匿名特征 | 匿名特征n0-n14,为一些贷款人行为计数特征的处理 |
评价标准:
我们通过一些评价指标来评价我们的预测结果,其实也就是评价这个算法好不好。
这个项目采用的分类算法,评价分类算法常用以下指标:
- 混淆矩阵(Confuse Matrix)
- 准确率(Accuracy)
- 精确率(Precision)
- 召回率(Recall)
- F1 Score
- P-R曲线(Precision-Recall Curve)
- ROC
- AUC
此项目采用AUC作为评价指标。这些指标在python中都可以利用内置函数进行计算,不用我们去写算法,直接调用就好了。我们只需要知道AUC这个值越接近1,说明效果越好。
************************************************我是分界线***********************************************************************************
写在后面:
其实看完Task1就是要了解我们要做的项目是什么,以及如何来评价我们的工作成果。写的比较偏通俗理解,因为我感觉技术贴太多了,而且我按照那样去写估计也是复制粘贴。写完这些如果还想具体了解如何导入数据,以及关于评价指标的相关信息可以百度一下,而相关代码的实现可以找找其他人的博客,他们也是这个项目,但估计就很“技术”了。哈哈,就酱!收工!