离群值（异常值）处理

1 绘制箱型图

Sample的是一个二维数组，每列为特征，总行数为样本总数

# 箱型图
plt.boxplot(Sample[:,0]) 

• 上四分位数（Q3），中位数，下四分位数（Q1）
• 上四分位数和下四分位数之间的差值，即四分位数差（IQR，interquartile range）=Q3-Q1 ：
• 大于上四分位数1.5倍四分位数差的值，或者小于下四分位数1.5倍四分位数差的值，划为异常值（outliers），即Q3+1.5IQR（四分位间距）和Q1－1.5IQR处画两条与中位线一样的线段，这两条线段为异常值截断点，称其为内限。

2 异常值剔除

# 若存在异常值，则删除该行数据，直接重新建立一个数组，另外保存剔除离散值所在行的数据集
# 大于上四分位数1.5倍四分位数差的值，或者小于下四分位数1.5倍四分位数差的值，划为异常值（outliers）

sample_error=[] # 将非离群数据行位置存入新列表

for i in range(Sample.shape[1]): # 按列读取原文件
# 这里的情况是每一行为一类数值，该行内的数据相互比较找出是否有离群值
# 
    data = Sample[:,i]
    
    #计算四分位点
    q1 = np.percentile(data, 25)            
    q3 = np.percentile(data, 75)            
    iqr = q3 - q1
    
    # 逐行找出异常值
    normal_=0 # 记录每行的正常值数
    for j in range(Sample.shape[0]):  
        item=data[j]
        
        # 在正常值范围内时,存储数据
        if item <= q3 + (1.5*iqr) and item >= q1 - (1.5*iqr):
            normal_=normal_+1
   
        # 出现异常值时,存储数据
        else:
            sample_error.append(j)
    
    print('每列正常值的数量',normal_)
    
print('存在异常值的Sample索引',sample_error)

利用np.delete剔除

Sample_del=np.delete(Sample, sample_error, axis=0)
print('剔除异常值后的数组大小',Sample_del.shape)