拉依达准则python实现

根据拉依达准则（3σ准则）去除异常值

3σ准则：设对被测量变量进行等精度测量，得到x1，x2，……，xn，算出其算术平均值x及剩余误差vi=xi-x（i=1,2,…,n），并按贝塞尔公式算出标准误差σ，若某个测量值xb的剩余误差vb（1<=b<=n），满足|vb|=|xb-x|>3σ，则认为xb是含有粗大误差值的坏值，应予剔除。贝塞尔公式如下：

代码如下：

import math
import matplotlib.pyplot as plt
# import numpy as np
import pandas as pd

# generate random num tested
src_data = pd.read_excel('待处理数据.xlsx',sheet_name=0,header=0) # 第一张表格，第一行为列名
# pd.set_option('display.max_rows', src_data.shape[0] + 1)

mean = src_data.mean()
std = src_data.std()

drop_indices = []
for index, row in src_data.iterrows():
    # print(index, row['age'], row['gender'])
    tmp = (row - mean).abs() > 3 * std
    if tmp.any():
        drop_indices.append(index)

print(drop_indices)

dst_data = src_data.drop(drop_indices)
# print(src_data)
writer = pd.ExcelWriter('处理后的结果.xlsx')
dst_data.to_excel(writer, 'page_1')
writer.save()