文章介绍了统计学中用于异常检测的3种方法：3Sigma、Numeric Outlier（箱线图法）和Grubbs准则。3Sigma基于正态分布判断异常值，Numeric Outlier利用IQR确定正常区间，而Grubbs准则适用于小数据量的单维度检测。每种方法都有其局限性，如对数据分布和维度的限制。多维度异常检测则提到马氏距离，但同样存在局限。作者根据业务需求选择了前两种方法，并指出统计学方法在处理某些数据时的不足。
近期，工作需要试了很多异常检测的方法，统计学和算法相关的都有，所以来总结一下。
在本篇文章主要从原理、python实现、局限的方式讲述以下几种统计学的异常检测的方法：
1、3Sigma
2、Numeric Outlier
3、格拉布斯准则（Grubbs算法）
4、多维度异常检测：马氏距离
1、3igma
原理：
3Sigma又称为拉依达准则，这种判别处理原理及方法仅局限于对正态或近似正态分布的
样本数据处理，原则：
数值分布在（μ-σ,μ+σ)中的概率为0.6827
数值分布在（μ-2σ,μ+2σ)中的概率为0.9545
数值分布在（μ-3σ,μ+3σ)中的概率为0.9973
所以，数据在（μ-3σ,μ+3σ)的概率低于0.01，我们可以称这些数据为异常值。
Python实现：
1、依据历史数据计算出正常区间（μ-3σ,μ+3σ)
2、判断目标数据是否有异常值
#输出正常区间
def ThreeSigmod(value):
最低0.47元/天 解锁文章
扫一扫
1251
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
