异常数据（粗大误差）处理-3西格玛准则及其失效原因分析及解决办法

最新推荐文章于 2023-06-05 21:08:10 发布

奔跑的橘子

最新推荐文章于 2023-06-05 21:08:10 发布

阅读量2.9w

点赞数 5

分类专栏：算法文章标签：异常数据处理

本文链接：https://blog.csdn.net/iceboy314159/article/details/10161517

版权

31 篇文章 40 订阅

订阅专栏

使用说明

3σ原则剔除异常值（粗大误差）如下式，使用步骤：

1. 计算标准差

2. 每一个采样点与均值的差的绝对值与3倍标准差比较，若大于3倍标准差则剔除

3. 重复至步骤1，直到此次循环无任何剔除

$|x_i-\bar{x}|>3\sqrt{\frac{(x_1-\bar{x})^2+(x_2-\bar{x})^2+...+(x_n-\bar{x})^2}{n-1}}$

失效模式

看下边一组数据，很明显100是一个异常值，但是使用上边的步骤是无法剔除的。

剔除法则左边计算得：86.5 ，右边得98.13. 剔除失效。为什么呢？

失效分析

从以下推导可以看出，当采样点数目小于等于10的情景下，无论异常值多大，此剔除法则失效。

那怎么办呢？

可以不使用3倍标准差，那使用多大合适呢？很明显此种剔除粗大误差的方法的实效模式的n值取决于这个系数。

此时可以使用格拉布斯法则。

其实拉以达（3西格玛）法则适用于采样点较多的情况，采样点较少时比较适合用格拉布斯法则。

$|x_i-\bar{x}|>3\sqrt{\frac{(x_1-\bar{x})^2+(x_2-\bar{x})^2+...+(x_n-\bar{x})^2}{n-1}}$

$\frac{n-1}{9}(x_i-\bar{x})^2>(x_1-\bar{x})^2+...+(x_i-\bar{x})^2+...+...(x_n-\bar{x})^2$

$\frac{n-10}{9}(x_i-\bar{x})^2>(x_1-\bar{x})^2+...+(x_{i-1}-\bar{x})^2+(x_{i+1}-\bar{x})^2...+...(x_n-\bar{x})^2$

代码实现

点击此处可查看拉依达法则的一个c++实现。

关注

专栏目录

异常数据（粗大误差）处理-3西格玛准则 及其失效原因分析及解决办法