数据挖掘实践-金融风控
TASK02数据分析
1.目标
1.1对数据集整体概况分析,缺失值、异常值等
1.2变量间的相互关系,变量与预测值的存在关系
2.内容提纲
2.1数据总体情况:
数据集大小,原始特征维度,数据类型,各特征基本统计量,数据缺失情况,唯一值特征情况
2.2深入查看数据类型,
数据属性类型可以分为:
属性类型 | 描述 | |
---|---|---|
分类的,定性的 | 标称 | 标称属性的值仅仅只是不同的名字,即标称值只提供足够的信息以区分对象(=,≠) |
二元 | 二元属性又称布尔属性,如果两种状态对应的是 true 和 false | |
序数 | 序数属性的值提供足够的信息确定对象的序(>,<) | |
数值的,定量的 | 区间 | 对于区间属性,值之间的差是有意义的,即存在测量单位(+,-) |
比率 | 对于比率变量,差和比率都是有意义的(*,/) |
机器学习中的分类算法通常把属性分为离散的和连续的。
2.3数据间相互关系:
特征与特征;特征与目标变量。
2.4用pandas_profiling生成数据报告。
tsv和csv区别:
TSV是用制表符作为字段值的分隔符,CSV是用半角逗号作为字段值的分隔符。
python的CSV模块准确来说是DSV模块。delimiter-separated values。
3.代码实现
3.1读取文件
3.2数据总体了解
下面对列名介绍特征含义:
- id 为贷款清单分配的唯一信用证标识
- loanAmnt 贷款金额
- term 贷款期限(year)
- interestRate 贷款利率
- installment 分期付款金额
- grade 贷款等级
- subGrade 贷款等级之子级
- employmentTitle 就业职称
- employmentLength 就业年限(年)
- homeOwnership 借款人在登记时提供的房屋所有权状况
- annualIncome 年收入
- verificationStatus 验证状态
- issueDate 贷款发放的月份
- purpose 借款人在贷款申请时的贷款用途类别
- postCode 借款人在贷款申请中提供的邮政编码的前3位数字
- regionCode 地区编码
- dti 债务收入比
- delinquency_2years 借款人过去2年信用档案中逾期30天以上的违约事件数
- ficoRangeLow 借款人在贷款发放时的fico所属的下限范围
- ficoRangeHigh 借款人在贷款发放时的fico所属的上限范围
- openAcc 借款人信用档案中未结信用额度的数量
- pubRec 贬损公共记录的数量
- pubRecBankruptcies 公开记录清除的数量
- revolBal 信贷周转余额合计
- revolUtil 循环额度利用率,或借款人使用的相对于所有可用循环信贷的信贷金额
- totalAcc 借款人信用档案中当前的信用额度总数
- initialListStatus 贷款的初始列表状态
- applicationType 表明贷款是个人申请还是与两个共同借款人的联合申请
- earliesCreditLine 借款人最早报告的信用额度开立的月份
- title 借款人提供的贷款名称
- policyCode 公开可用的策略代码=1新产品不公开可用的策略代码=2
- n系列匿名特征 匿名特征n0-n14,为一些贷款人行为计数特征的处理
data_train.info()#展示所有信息:
行数、列数。
各特征非空值数量,数据类型(int64/float64/object 等)。
内存占用量
data_train.describe()#文件信息描述,包括:
count返回数组的个数
mean返回数组的平均值
std返回数组的标准差
min返回数组的最小值
25%数组的25%位置的数值
50%数组中位数
75%数组的75%位置的数值
max返回数组的最大值
data_train.head(3).append(data_train.tail(3))#拼接
头三行拼接尾三行