数据分析--数据清洗详解流程

无论是做机器学习还是做数据分析，都离不开获取数据后的第一步-数据清洗工作。据统计，数据清洗工作占据整个工作时间百分之50左右，有的甚至能达到百分之70。下面我将介绍我进行数据清洗得思路流程。

数据清洗整体流程脑图（不断更新中…）

数据准备

本次数据清洗工作我们使用得数据是一个借贷机构开放的用户数据（仅用于个人练习），由于源数据量有将近30万，考虑到运行速度，这里例子从这30万中随机抽取1万条数据。
下载地址：LCIS.csv
提取码：ag8t
注：此数据仅仅作为方法演示使用，忽略真实数据分析时的业务逻辑考虑。

导入相应的python工具包和数据

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
plt.rcParams['font.sans-serif']=['SimHei']#这两句作用为防止中文乱码
plt.rcParams['axes.unicode_minus']=False
data = pd.read_csv('data/LCIS.csv')
data = data.sample(10000)#抽取样例10000个
data.reset_index(inplace=True)#重置索引

数据缺失值判定

一、热力图显示数据的缺失

sns.heatmap(data.isnull(),cmap="YlGnBu")
plt.show()

深颜色的横线就代表缺失值。因为数据中我们使用了innull()方法，若判断为空，则值为1，否则值为0。从上图中，我们可以看到，最后几个属性的缺失值最多，其他的几乎没有。
优点：能够清楚看到哪些地方有缺失，缺失程度。

二、使用info()查看缺失值

print(data.info())

info()这个方法能够统计每个属性下非空值的数量，总个数以及数据量的大小。
优点：操作方便，执行更快，能立刻发现哪个属性存在缺失值。

三、使用apply()统计缺失率

count_missing = data.apply(lambda x:'{}%'.format(round(100*sum(x.isnull())/len(x),2)))
print(count_missing)

通过这样的方法，可以统计出每一个属性的缺失率。
优点：百分比显示缺失率更加直观，对于缺失率高的属性，可以考虑删除。

缺失值处理

一、单行数据删除

data.dropna(inplace=True)

该方法将存在缺失值的数据全部删除，这里省略axis=0，因为axis默认为0.

二、整列属性删除

data.dropna(inplace=True,axis=1)

该方法将存在缺失值的属性删除。

三、均值、众数、0填充缺失值

#单列填充
data['下次计划还款利息'].fillna(value=data['下次计划还款利息'].mean(),inplace=True)
#多列同时填充
data1 = data[['下次计划还款本金','下次计划还款利息']].apply(lambda x:x.fillna(value=x.mean()))

上述方法是均值填充，众数填充只需要将mean()换成mode()[0]
0填充将x.mean()换成0即可。

异常值检测

一、均值标准差异常值检测

此方法公式是：均值±2x标准差
数值不在区间【均值-2x标准差的，均值+2x标准差的】判定为异常值。

datamean = data['下次计划还款利息'].mean()#均值
datastd = data['下次计划还款利息'].std()#标准差
topdata = datamean+2*datastd#上限
bottomdata = datamean-2*datastd#下限
countdata = data['下次计划还款利息'].between(left=bottomdata,right=topdata)
#统计异常值和非异常值数量
print(countdata.value_counts())

 
 

 
 
1
2
3
4
5
6
7

二、上下四中位和中位差异常值检测

此方法公式：上(下)四中位±1.5x中位差
正常值区间位：【下四中位-1.5x中位差,上四中位+1.5x中位差】

mediandata = data['下次计划还款利息'].quantile(0.75)-data['下次计划还款利息'].quantile(0.25)
topdata = data['下次计划还款利息'].quantile(0.75)+1.5*mediandata
bottomdata = data['下次计划还款利息'].quantile(0.25)-1.5*mediandata
countdata = data['下次计划还款利息'].between(left=bottomdata,right=topdata)
#统计异常值和非异常值数量
print(countdata.value_counts())

这两种方法取决于你的数据，大家可以在实践中尝试选择合适的方法进行异常值检测。

异常值处理

一、异常值删除

异常值删除操作需要两步，第一步是判断，第二步删除

mediandata = data['下次计划还款利息'].quantile(0.75)-data['下次计划还款利息'].quantile(0.25)
topdata = data['下次计划还款利息'].quantile(0.75)+1.5*mediandata
bottomdata = data['下次计划还款利息'].quantile(0.25)-1.5*mediandata
countdata = data['下次计划还款利息'].between(left=bottomdata,right=topdata)
#取出异常值索引
index_list = data[countdata==False].index.tolist()
data['下次计划还款利息'].drop(labels=index_list,inplace=True)

当发现某一列异常值特别多的时候，我们会选择删除改属性。

data.drop(columns=['下次计划还款利息'],axis=1,inplace=True)

二、异常值重写

检测完异常值之后，除了删除数据之外，我们做的最多的就是重写异常值。

使用数据的最大值重写：

mediandata = data['下次计划还款利息'].quantile(0.75)-data['下次计划还款利息'].quantile(0.25)
topdata = data['下次计划还款利息'].quantile(0.75)+1.5*mediandata
bottomdata = data['下次计划还款利息'].quantile(0.25)-1.5*mediandata
countdata = data['下次计划还款利息'].between(left=bottomdata,right=topdata)
index_list = data[countdata==False].index.tolist()
data.loc[index_list ,'下次计划还款利息'] = data[countdata]['下次计划还款利息'].max()#最大值填充
data.loc[index_list ,'下次计划还款利息'] = data[countdata]['下次计划还款利息'].min()#最小值填充
data.loc[index_list ,'下次计划还款利息'] = -1#特殊值填充

原文链接：https://blog.csdn.net/lzx159951/article/details/104793585