前言
本文章对小额贷款《Loan Data》的数据进行分析,用的是pycharm IDE,主要用到的python模块是pandas和pyecharts。pandas主要用于数据的导入、导出以及数据处理等,pyecharts主要用于数据可视化。
一、数据理解Loan Datawww.kaggle.com
数据包含有11个字段,500行数据。
数据字段译文如下:
loan_ID =======>贷款ID
loan_status=======>贷款状态
Principal=======>贷款金额
terms=======>贷款期限
effective_date=======>开始时间
due_date=======>到期时间
paid_off_time=======>还款时间
past_due_days=======>逾期天数
age=======>年龄
education=======>教育水平
gender=======>性别
二、数据清洗
数据清洗处理无非就是补选改构。
❥ 补一般是对缺失值的处理,缺失值我们会根据我们具体的分析方向去判断缺失值怎么去处理,列如:缺失值是用户的月收入,那么跟我们分析贷款行为有着很大的影响,那么我们就会想办法补全这些缺失值(咨询用户补全、众数补全、预测补全等);假如是一些跟我们分析方向影响不大的(业务能力的判断),我们直接补零就好了(尽量不要删除,不然会影响到其他字段的完整性)。
❥ 选(删)就很容易理解了,删就是删掉一些对我们分析方向毫无影响的字段(列),或者是一些缺失值比较多的条目(行);其实删和选,看个人习惯,不用删,我们就选择我们需要的字段或者条目就好了。
❥ 改,当我们遇到一些像性别这种字段的时候,我们通常会把其转换为阿拉伯数字,方便统计,所在在本篇文章我会把性别这一字段的'male':改成1, 'female'改成 0。
❥ 构的话就是源数据不能满足我们的分析需求,那么我们就会去自己构造数据,比如我们在数据源中会有年龄这个字段,但是我们要按一个年龄一个年龄的去统计就很麻烦,而且不直观,那么我们就好把年龄构成年龄段(青年、中年、老年)的形式,方便我们后面的分析。
1.缺失值
首先我们来看看哪些字段有缺失值。
看代码:
import pandas as pd # 导入模块
from pyecharts import *
data = pd.read_csv('..\data\\text\loan_data.csv') # 读入数据源
def data_colse(): #定义方法
print(data.isnull().sum()) # 查看缺失值