数据预处理之数据清洗

数据清洗

有上图案例的数据可知，在现实生活中的数据是“脏”的：

不完整的：缺少属性值。
例如，年龄=" “(地市的值)
含嘈杂的噪音，错误或离群。
例如，票价=”-10"(错误)
如何处理丢失的数据
1.忽略元组：当每个属性缺少值比例比较大时，它的效果非常差
2.手动填写遗漏值：工作量大
3.自动填写

使用属性的平均值填充空缺值
最有可能的值：基于诸如贝叶斯公式或决策树推理
缺失值处理方法

import pandas as pd  
import numpy as np  
from sklearn.impute import SimpleImputer  
import matplotlib.pyplot as plt
data_url = "train.csv"  
df = pd.read_csv(data_url)
#使用属性的平均值填充空缺值  
imp = SimpleImputer(missing_values = np.nan, strategy = 'mean')  
imp.fit(df.iloc[:,5:6])  
plt.hist(imp.transform(df.iloc[:,5:6]))  
plt.show()  

去除离群点

离群点：通常情况下，一个值高于/低于1.5×IQR

缺失值填充

离群点检测 例题

import numpy as np
import pandas as pd
#读取数据
df=pd.read_csv('/data/workspace/myshixun/step1/train.csv')


##### begin #####
#查看列中是否存在空值
temp=df.isnull().any()
print(temp)
#使用SimpleImputer取出缺失值所在列的数值，sklearn当中特征矩阵必须是二维才能传入 使用reshape(-1,1)升维
age=df['Age'].values.reshape(-1,1)  
#导入模块
from sklearn.impute import SimpleImputer 
#实例化，均值填充,可改变strategy参数，实现其他填充方式

imp_mean=SimpleImputer(missing_values=np.nan,strategy='mean')
#fit_transform一步完成调取结果

imp_mean=imp_mean.fit_transform(age) 
#填充好的数据传回到 data['Age']列df_fillna=df

df_fillna=df  
df_fillna['Age']=imp_mean 
#检验是否还有空值，为0即说明空值均已被填充

print(df_fillna['Age'].isnull().sum())
##### end #####    


imp_mean=SimpleImputer(missing_values=np.nan,strategy='mean')  
imp_mean=imp_mean.fit_transform(age)     
df_fillna=df
df_fillna['Age']=imp_mean  

#正太分布离群点检测
##### begin #####
#计算均值
u=df['Age'].mean()
#计算标准差
std=df['Age'].std()
#识别异常值
error=df[np.abs(df['Age']-u)>3*std]
##### end #####
print(error)