剔除数据的异常值

如何剔除数据的异常值？

方法1.

数据需要服从正态分布。在3∂原则下，异常值如超过3倍标准差，那么可以将其视为异常值。正负3∂的概率是99.7%，那么距离平均值3∂之外的值出现的概率为P(|x-u| 3∂) = 0.003，属于极个别的小概率事件。

如果数据不服从正态分布，也可以用远离平均值的多少倍标准差来描述。即，使用Z-分数（Z-score）进行判断，计算每个数据的Z-分数。样本中每个数据 - 样本平均数，除以样本标准差，即可以计算每个数据的Z-分数。Z-score的值应该为【-3，+3】，超过该值的存在为异常值的可能，需要进一步判断。

 

那么如何看数据是否符合正态分布：

参考看SPSS如何检验数据是否服从正态分布http://blog.sina.com.cn/s/blog_13bb711fd0102wuck.html

SPSS中分析-探索，可以选择勾选图片，勾选带检验的正态图，输出结果。

描述性统计中，

偏度SK越趋近0，数据越服从正态分布，众数=中位数=平均数；SK>0，为正偏态或左偏，众数<中位数<平均数；SK<0，为负偏态或右偏，众数>中位数>平均数。

峰度KG越趋近3，数据越服从正态分布；KG>3，峰度尖锐；KG<3，峰度扁平。（或exceess_KG=KG-3，exceess_KG越趋近0，数据越服从正态分布）

但是仅根据偏度和峰度还不足以判断数据是否服从正态分布，需要做进一步的检验。

常态性检验中，

KS检验和SW检验，此处我们关注的显著性是Sig.即P值。当P>0.05时，可以认为数据是呈正态分布的。

 

本数据中，偏度为0.679，峰度为1.008，KS和SW显著性均为0.000，所以该数据不符合正态分布。

本数据中，Z-score ≥3的存在17个样点，需要进一步判断。最终剔除样点