数据预处理之数据清洗

import numpy as np  
import pandas as pd  
#读取数据  
df=pd.read_csv('/data/workspace/myshixun/step1/train.csv')
##### begin #####  
#查看列中是否存在空值  
temp=df.isnull().any()   
print(temp)
#使用SimpleImputer取出缺失值所在列的数值,sklearn当中特征矩阵必须是二维才能传入 使用reshape(-1,1)升维  
age=df['Age'].values.reshape(-1,1)    
#导入模块  
from sklearn.impute import SimpleImputer   
#实例化,均值填充,可改变strategy参数,实现其他填充方式  
imp_mean=SimpleImputer(missing_values=np.nan,strategy='mean')    
#fit_transform一步完成调取结果  
imp_mean=imp_mean.fit_transform(age)   
#填充好的数据传回到 data['Age']列  
df_fillna=df  
df_fillna['Age']=imp_mean  
#检验是否还有空值,为0即说明空值均已被填充  
print(df_fillna['Age'].isnull().sum())  
##### end #####    
imp_mean=SimpleImputer(missing_values=np.nan,strategy='mean')    
imp_mean=imp_mean.fit_transform(age)       
df_fillna=df  
df_fillna['Age']=imp_mean  
#正太分布离群点检测  
##### begin #####  
#计算均值  
u=df['Age'].mean()   
#计算标准差  
std=df['Age'].std()   
#识别异常值  
error = df[np.abs(df['Age'] - u) > 3 * std ]   
##### end #####  
print(error)  

  • 3
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值