python 离群值 q1 q3_python数据清洗之噪声值的判断和处理

提到噪声，你会想到什么?刺耳的，高分贝的声音?总之就是不好的，不想接受的声音。小编今天跟大家分享的就是python数据清洗中的噪声数据，对于这些噪声数据我们应该怎样检测和处理呢?下面跟小编一起来看吧。

一、什么是噪声数据

噪声数据Noisy Data，噪声值，指的是数据中存在着一个或中者几个错误的，或者偏离期望值的数据，又可以叫做异常值、或者离群值(outlier)，这些数据会对数据的分析造成了干扰，我们需要在python数据清洗时将这些数据清洗掉。

举一个最简单的例子来理解噪声数据，在一份统计顾客年龄的名单中，有数据为顾客年龄：-50.显然这个数据就是噪声数据。

二、噪声数据检测

噪声数据的检测方法有很多，小编这这里介绍三种最常用的方法。

1.3∂原则

数据需要服从正态分布。若一个数据分布近似正态，则大约 68% 的数据值会在均值的一个标准差范围内，大约 95% 会在两个标准差范围内，大约 99.7% 会在三个标准差范围内。在3∂原则下，异常值如超过3倍标准差，那么可以将其视为异常值。如果数据不服从正态分布，我们就可以通过远离平均距离多少倍的标准差来判定(多少倍的取值需要根据经验和实际情况来决定)。

2.箱线图是通过数据集的四分位数形成的图形化描述。是非常简单而且效的可视化离群点的一种方法。上下须为数据分布的边界，只要是高于上须，或者是低于下触须的数据点都可以认为是离群点或异常值。

下四分位数：25%分位点所对应的值(Q1)

<