数据清洗：异常值检测方法

已于 2024-04-23 20:18:38 修改
阅读量641 收藏
点赞数
分类专栏： 机器学习算法的Python实现 文章标签： python
于 2024-04-23 19:57:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/QMU111/article/details/138136330
版权
本文介绍了数据清洗中异常值检测的三种方法：3σ原则适用于正态分布数据，Z_score利用标准差衡量数据点偏离程度，Boxplot则通过四分位数和四分位数间距识别异常值。这些方法在数据预处理中至关重要。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

异常值检测方法总结

在这里插入图片描述

一、基于分布

1、3σ原则

3σ原则又称为拉依达法则。该法则就是先假设一组检测数据只含有随机误差，对原始数据进行计算处理得到标准差，然后按一定的概率确定一个区间，认为误差超过这个区间的就属于异常值。
  这种判别处理方法仅适用于对正态或近似正态分布的样本数据进行处理，如下表所示，其中σ代表标准差，μ代表均值，x=μ为图形的对称轴。
  数据的数值分布几乎全部集中在区间(μ-3σ,μ+3σ)内，超出这个范围的数据仅占不到0.3%。故根据小概率原理，可以认为超出3σ的部分数据为异常数据。
在这里插入图片描述在这里插入图片描述
代码：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
数据处理和分析之数据预处理：异常值处理 (Outlier Detection)：异常值检测与处理的R语言实践
2401_87715305的博客
10-14 1029
我们将使用mtcars数据集，这是R中的一个内置数据集，包含了各种汽车的特性，如马力、重量、燃油效率等。数据集中的每一行代表一辆汽车，每一列代表一个特性。通过使用R语言和outliers包，我们可以更系统地检测和处理异常值。这不仅提高了数据预处理的效率，也确保了数据分析的准确性。在处理异常值时，重要的是要理解异常值的来源，并根据具体情况选择最合适的处理方法。通过以上案例分析，我们已经详细介绍了如何在R语言中检测和处理异常值。
异常值检测
数分小白.py的博客
03-25 1787
离群值检测（Outlier Detection）是指在给定数据集中，识别和定位与其他数 据点明显不同的异常观测值。离群值也被称为异常值、异常点或异常数据，它们 与其他数据点的特征、分布或行为存在显著的偏差。
​一文看懂数据清洗：缺失值、异常值和重复值的处理
大数据
07-08 5742
导读：在数据清洗过程中，主要处理的是缺失值、异常值和重复值。所谓清洗，是对数据集通过丢弃、填充、替换、去重等操作，达到去除异常、纠正错误、补足缺失的目的。作者：宋天龙如需...
异常值的检测
gulie8的博客
05-25 758
要处理异常值首先要检测，也就是发现异常值，发现异常值的方式主要有以下三种。 ● 根据业务经验划定不同指标的正常范围，超过该范围的值算作异常值。 ● 通过绘制箱形图，把大于（小于）箱形图上边缘（下边缘）的点称为异常值。 ● 如果数据服从正态分布，则可以利用3σ 原则；如果一个数值与平均值之间的偏差超过3倍标准差，那么我们就认为这个值是异常值。 下图为正态分布图，我们把大于μ+3σ的值称为异常值: ...
异常值检测方法
MARY197011111的博客
08-29 1329
一、异常值是指什么？请列举识别连续型变量异常值的方法？ 答：异常值是指样本中的个别值，其数值明显偏离所属样本的其余观测值。在数理统计里一般是指一组观测值中与平均值的偏差超过两倍标准差的测定值。 常用的检验法有（按优劣次序）： （1）t检验法 （2）格拉布斯检验法 （3）峰度检验法 （4）狄克逊检验法 （5）偏度检验法 ...
数据清洗 - 异常值（学习笔记）
m0_65392155的博客
03-16 2620
异常值又称离群点。 异常值的鉴别 1.描述分析 pandas: data.describe() 可以得到连续型数据的均值、最大值、最小值、中位数、四分位、总数、标准差等。通过描述分析查看出数据中有无极端值，并将极端值剔除。一般可以初步筛查时使用。 2.散点图 通过展示两组数据的位置关系，可以清晰直观地看出哪些值是离群值。异常值会改变数据间的关系，通常在研究数据关系，如进行回归分析前，都会先做散点图观察数据中是否存在异常值。 3.箱型图 利用箱型图的四分位距（IQR interquartil
数据挖掘：数据清洗——异常值处理
01-20
在这个过程中，数据清洗是非常重要的步骤，特别是异常值处理，因为异常值可能会严重影响分析结果的准确性和可靠性。异常值，又称为离群点，是数据集中显著不同于其他数据的观测值。离群点不等同于噪声，噪声通常指的...
Python数据分析基础：异常值检测和处理
01-27
异常值检测和处理是数据分析和机器学习中的关键环节，它涉及到对数据集中异常或极端值的识别和管理。异常值可能会对模型的训练和预测性能产生显著影响，因此理解和掌握有效的异常值检测方法至关重要。 首先，异常值...
人工智能和机器学习之数据预处理算法：数据清洗：4.异常值检测与处理方法
最新发布
10-15
异常值检测是数据预处理中一个关键的环节，尤其是在人工智能和机器学习领域。...因此，数据科学家和工程师应当熟练掌握各种异常值检测方法，并根据实际需要选择合适的方法来优化数据质量，从而提升机器学习模型的效果。
异常数据检测
06-14
异常 数据 检测 提出了一种新的异常数据检测方法 能有效的检测
异常值检测方法汇总
热门推荐
平凡简单的执着
04-08 1万+
异常检测项目流程前言一、项目流程1.目标确立2.数据准备3.数据分析处理4.模型算法（重点）4.1 传统统计方法4.1.1 3σ准则4.1.2 四分位（箱线图）4.2 机器学习方法（重点）4.2.1 监督学习算法4.2.2 无监督学习算法IsolationForestDBSCANLocal Outlier Factor（LOF）4.2.3 半监督学习算法Local Outlier Factor（L...
数据分析与挖掘之数据清洗（缺失值、异常值）
weixin_42219287的博客
09-20 1642
一般情况下PIP出现ReadTimeoutError都是因为被GFW给墙了，所以一般遇到这种问题，我们可以选择国内的镜像来解决问题。 在Windows下：C:\Users\下新建pip文件夹，在创建pip.ini文件，拷贝下面代码进去，保存。 [global] index-url = https://pypi.tuna.tsinghua.edu.cn/simple 其实就是把pyth...
数据清洗之 异常值处理
若尘的博客
04-20 9023
数据清洗异常值处理
数据清洗：异常值识别和处理方法
sinat_41928169的博客
04-27 5722
对于有固定业务规则的可直接套用业务规则，而对于没有固定业务规则的，可以采用常见的数学模型进行判断。比如基于概率分布的模型（例如正态分布的标准差范围）、基于统计的方法（例如分位数法）、基于聚类的方法（例如KMeans）、基于分类的方法（例如KNN）、基于密度的方法（例如LOF）等。异常数据是数据分布的常态，处于特定分布区域之外的数据通常会被定义为异常或“噪音”。大多数数据挖掘工作中，异常值都会在数据的预处理过程中被认为是噪音而剔除，以避免其对总体数据的影响。《Python数据分析与数据化运营》宋天龙。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

清木!

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值