使用3sigma原则去除数据表中的极端值

一、基本概念

在正态分布中σ代表标准差,μ代表均值。x=μ即为图像的对称轴

3σ原则为：

数值分布在（μ-σ,μ+σ)中的概率为0.6826（1）

数值分布在（μ-2σ,μ+2σ)中的概率为0.9545（2）

数值分布在（μ-3σ,μ+3σ)中的概率为0.9973（3）

可以认为，Y 的取值几乎全部集中在（μ-3σ,μ+3σ)区间内，超出这个范围的可能性仅占不到0.3%

我们认为在（3）范围之外的数据可以看作极端值

二、适用条件

1、数据正态分布或近似正态分布的情况

2、测量次数充分大的情况

三、代码展示

import numpy as np  
import pandas as pd 
import matplotlib as mpl
from scipy import stats #导入K-S检验
import matplotlib.pyplot as plt
data=pd.read_csv(r'data_demo.csv')#读取数据
data.head(5)#输出前五行

测试数据的前五行展示如下：