Python数据清洗--运用3δ准则检测异常值

1.3δ准则检测异常值的基本原理

当数据为连续型变量、服从或近似服从正态分布时，可运用3δ准则检测异常值。在该准则条件下，数据值与均值的偏差如果超过标准差的3倍，那么该数据值就会被视为异常值。即针对样本xi，如果满足：

则xi被判定为异常值，其中μ为样本示例全集的均值，δ为样本示例全集的标准差。

其基本原理是根据正态分布的概念，样本会集中分布在均值附近，|xi-μ|≤3δ的概率为99.7%，因此|xi-μ|>3δ的概率仅为0.3%，属于统计学意义上的小概率事件，继而被判定为异常值。

2.3δ准则检测异常值的Python实现

示例如下，在Spyder代码编辑区输入以下代码：

注意，以下代码涉及自定义函数，虽然为多行，但是一个完整的代码语句，需要同时选中运行：

运行结果如图所示。

从结果中我们可以看到运用3δ准则检测到了data数据集income列中的异常值。

3.Python数据清洗推荐学习书目

文章节选自《Python数据科学应用从入门到精通》 张甜 杨维忠 清华大学出版社

本书已正式出版上市，当当、京东、淘宝等平台热销中，搜索书名即可。全书内容共分13章。其中第1章为数据科学应用概述，第2章讲解Python的入门基础知识，第3章讲解数据清洗。第4~6章介绍特征工程，包括特征选择、特征处理、特征提取。第7章介绍数据可视化。第8~13章介绍6种数据挖掘与建模方法，分别为线性回归、Logistic回归、决策树、随机森林、神经网络、RFM分析。从数据科学应用和Python的入门，再到数据清洗与特征工程，最终完成数据挖掘与建模或数据可视化，从而可以为读者提供“从拿到数据开始，一直到构建形成最终模型或可视化报告成果”的一站式、全流程指导。