1.1、业务法
根据对业务的理解,然后对每一个指标设定一个合理的范围,一旦超过这个范围,则认为是异常值。比如收入,一般来说都是正数,如果出现小于0,则认为是异常值;再比如年龄,正常的年龄可能在100以内,如果出现年龄是好几百的,那么也认为是异常值。
1.2、3 σ \sigma σ准则
3 σ \sigma σ准则又称拉依达准则,是指先假设一组检测数据只含有随机误差,对其进行计算处理得到标准偏差,按一定概率确定一个区间,认为凡超过这个区间的误差,就不属于随机误差而是粗大误差,含有该误差的数据应予以剔除。
3 σ 准则 3\sigma准则 3σ准则,仅局限于对正态或近似正态分布的样本数据处理,它是以测量次数充分大为前提的。
在正态分布中σ代表标准差,μ代表均值。x=μ即为图像的对称轴,如下图:
3σ原则为:
- p(μ-σ<X<μ+σ)中的概率为68.26%
- p(μ-2σ<X<μ+2σ)中的概率为95.44%
- p(μ-3σ<X<μ+3σ)中的概率为99.73%
可以认为,X 的取值几乎全部集中在(μ-3σ,μ+3σ)区间内,超出这个范围的可能性仅占不到0.3%。
1.3、Z-score
Z-Score也称为标准分数