申请评分卡模型数据预处理

一、获取数据

2.1 数据获取

数据的获取途径主要有两个：

• 金融机构自身字段：例用户的年龄，户籍，性别，收入，负债比，在本机构的借款和还款行为等；
• 第三方机构的数据：如用户在其他机构的借贷行为，用户的消费行为数据等。

申请评分卡常用的特征

• 个人信息： 学历、 性别、 收入
• 负债信息： 在本金融机构或者其他金融机构负债情况
• 消费能力： 商品购买纪录、出境游、奢侈品消费
• 历史信用记录： 历史逾期行为
• 新兴数据： 人际社交、 网络足迹、 出行 、个人财务

每一行代表一个样本（一笔成功成交借款），每个样本包含228多个各类字段
本项目一共三个表，下面分别介绍各个表的重要特征字段

Master

Idx: 每一笔贷款的unique key，可以与另外2个文件里的idx相匹配。
UserInfo_: 借款人个人基础信息，例如学历，性别等
WeblogInfo_ : Weblog网络行为相关信息
Education_Info*: 学历学籍相关信息字段
ThirdParty_Info_PeriodN_* : 第三方数据时间段N字段
SocialNetwork_* ： 社交网络字段
LinstingInfo ： 借款成交时间
Target： 违约标签（1 = 贷款违约，0 = 正常还款）

Log_Info：借款人登录信息

idx： 每一笔贷款的unique key
ListingInfo ： 借款成交时间
LogInfo1 ： 操作代码
LogInfo2： 操作类别
LogInfo3： 登陆时间

Userupdate_Info：借款人修改的字段信息

idx： 每一笔贷款的unique key
ListingInfo1 ： 借款成交时间
UserupdateInfo1： 修改内容
UserupdateInfo2 ： 修改时间

2.2 EDA（探索性数据分析）

该步骤主要是获取数据的大概情况，例如每个字段的缺失值情况、异常值情况、平均值、中位数、最大值、最小值、分布情况等。以便制定合理的数据预处理方案。