数据分析——【统计学】异常值检测

阅读之前看这里👉：博主是正在学习数据分析的一员，博客记录的是在学习过程中一些总结，也希望和大家一起进步，在记录之时，未免存在很多疏漏和不全，如有问题，还请私聊博主指正。
博客地址：天阑之蓝的博客，学习过程中不免有困难和迷茫，希望大家都能在这学习的过程中肯定自己，超越自己，最终创造自己。

在训练机器学习算法或应用统计技术时，错误值或异常值可能是一个严重的问题，它们通常会造成测量误差或异常系统条件的结果，因此不具有描述底层系统的特征。实际上，最佳做法是在进行下一步分析之前，就应该进行异常值去除处理。在某些情况下，异常值可以提供有关整个系统中局部异常的信息；因此，检测异常值是一个有价值的过程，因为在这个工程中，可以提供有关数据集的附加信息。目前有许多技术可以检测异常值，并且可以自主选择是否从数据集中删除。

主要的方法如下：

1.简单统计

我们可以通过对数据进行描述统计分析，观察其方差、标准差、均值等是否和常规值有所差异。
通过散点图或者回归的方式可以看到异常值。

2.3$\sigma$方法

借助正态分布的优良性质，3σ准则常用来判定数据是否异常。由于正态分布关于均值μ对称，数值分布在（μ-σ，μ+σ）中的概率为0.