利用Tukey方法识别离群值

在统计分析中,离群值(outlier),也称逸出值,是指在数据中有一个或几个数值与其他数值相比差异较大。处理离群值的时候要结合专业知识,判断是否属于逻辑错误。本文仅介绍在统计学上常用的Tukey法。

Tukey法方法通过计算参考值的25%分位数(Q1)、75%分位数(Q3)和四分位间距IQR(Q3-Q1),将分布在Q1-1.5×(IQR)至Q3+1.5×(IQR)之间的参考值定义为可接受数值,否则即为离群值(如下图所示)。当数据满足正态分布时,预计识别0.7%的数值为离群值。
在这里插入图片描述
在剔除离群值之前,首先分析各项指标检测值是否服从正态分布,如果服从正态分布,直接采用Tukey法进行离群值查找。如果不服从正态分布,则需要采用Box-Cox法进行数据变换,使其服从正态分布,Box-Cox变换的公式如下所示:
在这里插入图片描述
其中X为原始值,y为Box-Cox变换后的值;λ和c为最大似然估计的参数。
笔者将boxcox变换、tukey方法实施、数据前后箱型图检测打包为如下函数:


tukey<-function
  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mrrunsen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值