数据分析学习总结笔记04：异常值处理

1 异常值概述

数据存在异常值、缺失值和重复值是数据清洗工作中主要可能遇到的三个问题。
异常值是数据中的极端的观测值，即在数据集中存在不合理的值，又称离群点。
在统计学中异常值（outlier）定义为一组测定值中与平均值的偏差超过两倍标准差的测定值，与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值¹。
一批数据中的异常值值得关注，忽视异常值的存在是十分危险的，不加剔除地把异常值包括进数据的计算分析过程中，对结果会带来不良影响；重视异常值的出现，分析其产生的原因，常常成为发现问题进而改进决策的契机。

• 响应变量中的异常值：若标准化残差的绝对值大于2，对应的观测点称为异常点。
  
• 预测变量中的异常值：若第i个观测点的杠杆值hii大于2(p+1)/n，则称该观测点为高杠杆点。

如果删除一个观测点会导致拟合模型的实质性变化，即系数估计值、拟合值和检验值等发生较大变化，则称这个点为强影响点。

2 如何判断异常值

对于异常值的判断，通常使用的方法有很多种，本文主要介绍以下7种方法。

2.1 简单的统计分析

当我们拿到数据后可以对数据进行一个简单的描述性统计分析，譬如最大最小值可以用来判断这个变量的取值是否超过了合理的范围，不合常理的为异常值。比如，对成绩这个属性进行规约：成绩的区间在[0:100]，如果样本中的成绩不在该区间范围内，则表示该值属于异常值。

2.2 3δ原则

• 若数据服从正态分布：
  根据正态分布的定义可知，距离平均值3δ之外的概率为 P(|x-μ|>3δ) <= 0.003 ，这属于极小概率事件，在默认情况下我们可以认定，距离超过平均值3δ的样本是不存在的。 因此，当样本距离平均值大于3δ，则认定该样本为异常值。