Generalized ESD Test for Outliers
一、广义
ESD
检验是做什么的
广义
ESD
检验是一个检测离群值的方法。它检验服从近似正态
分布的一个单变量数据集中的一个或多个离群值。
二、为什么要使用这个算法
许多统计技术对离群值的存在是敏感的。
例如,
计算一个数据集
的均值或标准差时,离群值的影响是很大的。因此,检验离群值应该
是任何数据分析的常规部分。
我们对潜在的异常值进行检查,
以查看
它们是否可能是错误的。如果数据点是错误的,但如果可能,应当校
正,如果不可能则删除。如果没有理由相信边远点是错误的,它不应
该在没有仔细考虑的情况下被删除。
三、对广义
ESD
检验的定义
给定数据集
X=
(
x1
,
x2,...,xn
)
,设
)
,
(
~
2
N
X
,
x1
,
x2,...,xn
相互独立且与
X
有相同的概率分布。
首先画出数据
集的正态概率图(运行序列图,箱线图,或直方图)
,观察是否存在
潜在离群值
(若事先不知道数据是否服从近似正态分布,
还可评估数
据是否遵循一个近似正态分布)
,
以确定是否有必要进行离群值检验。
若存在离群值,则给定的离群值数目的上限,令为
r
,则广义
ESD
检
验实质上是执行
r
次单独的检验:
首先检验第一个可能的离群值,
计