用3-sigma原则处理DataFrame中的异常值

自定义的两个函数

定义一个对每一个特征（每一列）进行进行处理的函数，返回数值落在在（μ-3σ,μ+3σ)之外的行索引。只要有一个特征落在范围之外，则这一条样本被删除。

def three_sigma(Ser1):
    '''
    Ser1：表示传入DataFrame的某一列。
    '''
    rule = (Ser1.mean()-3*Ser1.std()>Ser1) | (Ser1.mean()+3*Ser1.std()< Ser1)
    index = np.arange(Ser1.shape[0])[rule]
    return index  #返回落在3sigma之外的行索引值

对DataFrame的每一列分别调用three_sigma函数，删除有特征值落在（μ-3σ,μ+3σ)之外的所有样本。

def delete_out3sigma(data):
	'''
	data：待检测的DataFrame
	'''
    out_index = [] #保存要删除的行索引
    for i in range(data.shape[1]): # 对每一列分别用3sigma原则处理
        index = three_sigma(data.iloc[:,i])
        out_index += index.tolist()
    delete_ = list(set(out_index))
    print('所删除的行索引为：',delete_)
    data.drop(delete_,inplace=True)
    return data

异常值清洗

把超出3σ之外的值替换为空值，然后再填补

def three_sigma_to_nan(data):
    '''
    把每一列中超出 3 sigma 的值,赋值为 np.nan
    :param data: dataframe
    :return:
    '''
    for i in range(data.shape[1]): # 对每一列分别用3sigma原则处理
        Ser1 = data.iloc[:,i]
        rule = (Ser1.mean()-3*Ser1.std()>Ser1) | (Ser1.mean()+3*Ser1.std()< Ser1)
        rule = np.array(rule)
        data.iloc[rule,i] = np.nan
    return data

def my_fillna(df):
    '''
    针对每一列，用插值的方法进行缺失值填补
    :param df: 含有缺失值的df
    :return:
    '''
    for col in df.columns:
        raw_series = df[col]
        if raw_series.isnull().sum()>0: #含有缺失值
            filled_series = raw_series.interpolate(limit_direction='both',kind='quadratic')
            df[col] = filled_series
    return df

测试

df = pd.DataFrame({'a':[1,np.nan,3,np.nan,np.nan,6],
                   'b':[4,5,np.nan,np.nan,8,9],
                   'c':[np.nan,2,4,np.nan,8,np.nan]})
print(df)
filled_df = my_fillna(df)
print(filled_df)

# 结果
'''
     a    b    c
0  1.0  4.0  NaN
1  NaN  5.0  2.0
2  3.0  NaN  4.0
3  NaN  NaN  NaN
4  NaN  8.0  8.0
5  6.0  9.0  NaN
     a    b    c
0  1.0  4.0  2.0
1  2.0  5.0  2.0
2  3.0  6.0  4.0
3  4.0  7.0  6.0
4  5.0  8.0  8.0
5  6.0  9.0  8.0
'''