数据预处理--异常值检验（4）

利用ks检验：检验数据是否满足正态分布，如果不满足的用空值代替
下一步有对缺失值的填充

# 设置cell多行输出
from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = 'all' #默认为'last'

# 导入相关库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import os

data = pd.read_csv('C:\\Users\\44933\\Desktop\\数据挖掘材料\\1\\制造业noflag.csv',encoding='utf-8',index_col=False)
df=pd.DataFrame(data)
data=data.iloc[:,2:-1]

from scipy import stats

# 创建函数
def f(x):
    return stats.kstest(x,'norm',(x.mean(),x.std()))   
# .kstest方法：KS检验，参数分别是：待检验的数据，检验方法（这里设置成norm正态分布），均值与标准差

data_stats = data.apply(f)  # 将算法直接映射到每一列
a=list(data_stats.values)
b=[]
index_=[]
for i in range(len(a)):
    b.append(str(a[i]))
for j in b:
    if j != 'KstestResult(statistic=nan, pvalue=nan)':
        k=b.index(j)
        b.remove(j)
        b.insert(k,'KstestResult(statistic=nan, pvalue=nan)')
        index_.append(k)
        
# 筛出异常值

df = data.copy()  # 复制一份数据
lst = []

for n in index_:
    col = df.columns[n]
    df_col = df[col]
    err = df_col[np.abs(df_col-df_col.mean())>3*df_col.std()]  # 筛出异常数据
    lst.append(err)
    err_data = pd.concat(lst)
print('一共检测到异常值共：%i'%len(err_data),'\n')

#异常值处理数据合并
d=df.columns[0]
c=df[d]
for j in index_:
    c=pd.concat([c,df[df.columns[j]]],axis=1)
c=c.iloc[:,1:]

#将异常值替换为NaN，并插补补全
normal = c[np.abs(c-c.mean())<3*c.std()]  #  异常值是|x - μ| >3σ，反之小于3σ的值为正常
# 返回一个已用NaN替换掉异常值的DataFrame
normal.head()
normal.isna().sum().sum()
##异常值合并
#把nomal的列名转化成列表nomal_list
normal_list=normal.columns.to_list()
#读取缺失值处理的文件file
file_list=data.columns.to_list()
#读取file的列名file_list
for k in normal_list:
    if k in file_list:
        df.drop([k],axis=1,inplace=True)
        aindex=file_list.index(k)
        df.insert(aindex,k,normal[k].values)
df.to_csv(r'C:\Users\44933\Desktop\数据挖掘材料\全部数据\makenomal_noflag.csv',index=False)