利用ks检验:检验数据是否满足正态分布,如果不满足的用空值代替
下一步有对缺失值的填充
# 设置cell多行输出
from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = 'all' #默认为'last'
# 导入相关库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import os
data = pd.read_csv('C:\\Users\\44933\\Desktop\\数据挖掘材料\\1\\制造业noflag.csv',encoding='utf-8',index_col=False)
df=pd.DataFrame(data)
data=data.iloc[:,2:-1]
from scipy import stats
# 创建函数
def f(x):
return stats.kstest(x,'norm',(x.mean(),x.std()))
# .kstest方法:KS检验,参数分别是:待检验的数据,检验方法(这里设置成norm正态分布),均值与标准差
data_stats = data.apply(f) # 将算法直接映射到每一列
a=list(data_stats.values)
b=[]
index_=[]
for i in range(len(a)):
b.append(str(a[i]))
for j in b:
if j != 'KstestResult(statistic=nan, pvalue=nan)':
k=b.index(j)
b.remove(j)
b.insert(k,'KstestResult(statistic=nan, pvalue=nan)')
index_.append(k)
# 筛出异常值
df = data.copy() # 复制一份数据
lst = []
for n in index_:
col = df.columns[n]
df_col = df[col]
err = df_col[np.abs(df_col-df_col.mean())>3*df_col.std()] # 筛出异常数据
lst.append(err)
err_data = pd.concat(lst)
print('一共检测到异常值共:%i'%len(err_data),'\n')
#异常值处理数据合并
d=df.columns[0]
c=df[d]
for j in index_:
c=pd.concat([c,df[df.columns[j]]],axis=1)
c=c.iloc[:,1:]
#将异常值替换为NaN,并插补补全
normal = c[np.abs(c-c.mean())<3*c.std()] # 异常值是|x - μ| >3σ,反之小于3σ的值为正常
# 返回一个已用NaN替换掉异常值的DataFrame
normal.head()
normal.isna().sum().sum()
##异常值合并
#把nomal的列名转化成列表nomal_list
normal_list=normal.columns.to_list()
#读取缺失值处理的文件file
file_list=data.columns.to_list()
#读取file的列名file_list
for k in normal_list:
if k in file_list:
df.drop([k],axis=1,inplace=True)
aindex=file_list.index(k)
df.insert(aindex,k,normal[k].values)
df.to_csv(r'C:\Users\44933\Desktop\数据挖掘材料\全部数据\makenomal_noflag.csv',index=False)