使用方法:只需使用pandas读取csv、txt、excel等文件,并调用下列函数即可。
# 一、异常值检测
# 1、使用平均数 - 2 * 标准差 检测异常值
def mean_median(df):
for i in df.columns:
mean = df[i].mean()
std = df[i].std()
top_num = mean + 2 * std
bottom_num = mean - 2 * std
print("正常范围的值:{}、{}".format(bottom_num,top_num))
print("{0} 中是否存在大于正常范围的值:{1}".format(i,any(df[i] > top_num)))
print("{0} 中是否存在小于正常范围的值:{1}".format(i,any(df[i] < bottom_num)))
print('---------------------')
# 以下对异常值进行替换
replace_value1=df[i][df[i]<top_num].max()
df.loc[df[i]>top_num,'tip'] = replace_value1
replace_value2=df[i][df[i]>bottom_num].min()
df.loc[df[i]<bottom_num,'tip']=replace_value2
return df
# outlier_processing(data)
# 2、使用 上、下四分位数 检测异常值
# mean_top 为上四中位数(就是将数据按从小到大排列,取3/4这个位置的数)
# mean_bottom 为下四中位数(同上,取1/4位置的数)
# mean_minus 为中位差 mean3 = mean1-mean2
def quartile_processing(df):
for i in df.columns:
mean_bottom = df[i].quantile(q=0.25) # 下四分位数
mean_top = df[i].quantile(q=0.75) # 上四分位数
mean_minus = mean_top - mean_bottom # 中位差
top_num = mean_top + 1.5 * mean_minus
bottom_num = mean_top - 1.5 * mean_minus
print("正常范围的值:{} ~ {}".format(bottom_num,top_num))
print("{0} 中是否存在大于正常范围的值:{1}".format(i,any(df[i] > top_num)))
print("{0} 中是否存在小于正常范围的值:{1}".format(i,any(df[i] < bottom_num)))
print('---------------------')
# 以下是对异常值做替换
replace_value1=df[i][df[i]<top_num].max()
df.loc[df[i]>top_num,i] = replace_value1
replace_value2=df[i][df[i]>bottom_num].min()
df.loc[df[i]<bottom_num,i]=replace_value2
return df
quartile_processing(data) #注意data必须为pd.DataFrame格式