异常值识别和处理

最新推荐文章于 2024-02-02 01:47:16 发布
最新推荐文章于 2024-02-02 01:47:16 发布
阅读量1.1k 收藏 6
点赞数 1
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43287568/article/details/116082142
版权

1.识别异常值

1.1业务法

根据你对业务的理解，然后对每一个指标设定一个合理的范围，一旦超过这个范围，则认为是异常值。比如收入，一般来说都是正数，如果出现小于0，则认为是异常值；再比如年龄，正常的年龄可能在100以内，如果出现年龄是好几百的，那么也认为是异常值。

1.23σ原则

3σ原则中的σ是代表标准差，3σ也就是标准差，如果数据与均值之间的绝对距离大于3倍标准差，即下图中[-∞,μ-3σ]和[μ+3σ,+∞]部分，我们把这一部分值称为是异常值。
在这里插入图片描述

在用3σ原则时，数据要尽可能的服从正态分布，因为只有满足正态分布时，才认为出现3倍标准差以外数据的可能性很小，所以才会把这一部分当作异常值。

1.3箱形图

箱形图就是如下图所示，会展示数据的上下界、上下四分位数、中位数、均值，我们把超过上下界的值称为异常值。分位数大家应该都知道怎么算，但是上下界怎么算出来的呢？

上界 =上四分位数 + k(上四分位数 - 下四分位数)
下界 =下四分位数 - k(上四分位数 - 下四分位数)
当k=1.5时表示中度异常；当k=3时表示高度异常。箱形图中默认k=1.5。

在这里插入图片描述
2.异常值处理

通过上面识别异常值的方法我们就可以把数据中的异常值找出来，那找出异常值以后该怎么办呢？常规的异常值处理有如下几种方法：

将异常值删除，比如一个人的年龄是异常值，那么就把这个人从数据中删除；
将异常值当作缺失值进行替换，用0或者平均值进行替换

weixin_43287568
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
异常值检测 —— MAD（median absolute deviation）
weixin_30662011的博客
05-20 4576
MAD 定义为，一元序列 XiXi 同其中位数偏差的绝对值的中位数（deviation，偏差本身有正有负）； MAD=median(|Xi−median(X)|)MAD=median(|Xi−median(X)|) 1. MAD 用于异常点的检测 假定数据服从正态分布，我们让异常点（outliers）落在两侧的 50% 的面积里，让正常值落在中间的 50...
大数据之数据异常值分析与处理
06-28
综上所述，数据异常值处理是大数据分析的关键步骤，需要根据数据的特性和缺失模式选择合适的方法。无论是删除、插补还是建模预测，目标都是提高数据质量和分析的准确性。在大气污染预测等实际问题中，正确处理异常值...
数据分析 --- 识别异常值
qq_43709590的博客
02-26 757
一、异常值的定义 与平均值相差极大或极小的值，也叫离群点。 异常值的判定要取决于分析的业务对象，如旅游业这种周期性产业。 二、识别异常值 观察检测值与整体数据的差异度，如计算与平均值的倍数。 若异常值是合理的，那么其一定有其附加信息，也就是数据变动的原因，我们要对异常值产生的原因进行分析，以发现数据背后的现象。 ...
异常值识别和缺失值处理
m0_63630166的博客
08-15 3318
异常值，缺失值
异常值检查与处理
qq_41978139的博客
06-22 625
异常值的定义：异常值，即在数据集中存在不合理的值，又称离群点，如下所示： 异常值判别方法：1.简单统计法对属性值进行一个描述性的统计，从而查看哪些值是不合理的。比如：对待一个人的身高，不可能说有人的身高出现3m等以上的；如果是能使用图像直接显示数据的话，可以直观的直接直观的从图片中得出异常值2. 3δ原则当数据服从正态分布：根据正态分布的定义可知，距离平均值3δ之外的概率为 P(|x-μ|>3δ) <= 0.003 ，这属于极小概率事件，在默认情况下我们可以认定，距离超过平均值3δ的样
异常值定义处理
再学一夏
02-27 466
通过 3sigma原则定义异常值 3sigma原则 找到平均值 sigma 标准差 3.1 例子 假设：男生的平均身高是为170 标准差： 5cm 按照大数定律我们所有可统计的自然现象 都符合正态分布 65.26%的人 一个标准差之间 165-175 95.44%的人 两个标准差之内 160-180 99.74%的人 三个标准差之内 165-195 当你超过了这三个标准差 那就是小概率事件发生 即异常值 分位点删除 把数据分为任意分 删除.
matlab开发-异常值检测和移动
08-22
因此，我们需要识别并适当处理这些异常值。 Hampel滤波器是一种常用的异常值检测方法，它基于中位数和三倍标准差的原则。在MATLAB中，`hampel.m`文件可能实现了一个Hampel滤波器函数。这个函数通常会接收一个时间...
使用pandas的box_plot去除异常值
09-18
总的来说，使用pandas的box_plot函数可以直观地识别异常值，但需要结合业务理解和数据特性，灵活选择合适的处理方法。在实际应用中，异常值处理是一个需要综合考虑的过程，包括数据的分布、分类特性、样本平衡性等多...
监护信息系统中异常值的识别和处理方法 (2007年)
04-28
提出了一种监护信息系统中异常值分析...通过应用PhysioNet生物医学信号研究资源中的三组数据集：心率、中心静脉压以及血氧饱和度，进行实验研究，结果表明此方法在对监护数据异常值进行分析和处理中取得了很好的效果。
Pandas+Matplotlib 箱式图异常值分析示例
09-18
Pandas和Matplotlib是Python中常用的两个库，分别用于数据处理和数据可视化。今天我们将深入探讨如何利用这两个库进行箱式图（Boxplot）的绘制，并识别并分析异常值。 箱式图是一种简洁有效的统计图表，它能够直观...
异常值识别方法小结
huangqihao723的博客
04-01 3733
总览： 编号 方法 1 经验判断 2 3σ 3 dbscan 4 lof 5 isolation tree 6 one class svm 一. 经验判断 X={x1,x2,...,xn} IQR=0.75 分位数 - 0.25 分位数 outlier_min=0.25分位数-1.5IQR ou...
Python数学建模之异常值识别与处理
最新发布
m0_73384617的博客
02-02 902
本文介绍了用Python进行异常值识别与处理的方法。
数据预处理-异常值识别
djph26741的博客
09-30 558
数据预处理-异常值识别 from:http://shataowei.com/2017/08/09/%E6%95%B0%E6%8D%AE%E9%A2%84%E5%A4%84%E7%90%86-%E5%BC%82%E5%B8%B8%E5%80%BC%E8%AF%86%E5%88%AB/ 系统总结了常用的异常值识别思路，整理如下： 空间识别 分位数识别 代表的执行方法为箱式图：...
盘点5种最频繁使用的检测异常值的方法（附Python代码）
Python数据挖掘
12-10 6556
在统计学中，异常值是指不属于某一特定群体的数据点。它是一个与其他数值大不相同的异常观测值，与良好构成的数据组相背离。例如，你可以清楚地看到这个列表里的异常值：[20, 24, 22, 19, 29, 18, 4300, 30, 18].当观测值仅仅是一堆数字并且是一维时，很容易识别出异常值。但是，当你有成千上万的观测值或者是多维度时，你将需要更多巧妙的办法来检测出那些异常值。这就是本文要讨论的内容。
【机器学习】 遇到异常值怎么办？
阿肉的笔记
01-25 1246
文章目录异常值如何处理异常值 不管是机器学习还是数据分析，只要你面对一大堆数据，总是免不了出现异常值的可能性，那么遇到这些异常值，我们该如何让处理捏? 异常值 假设下图的数据集中，右上角有一个异常值。假设我们不对异常值做任何的处理，直接进行回归操作，那么最后得到的很有可能就是第一条线的回归方程，虽然我们觉得最后一条线看起来更简单更符合我们的期望 那么异常值是哪里来的呢？ 异常值可能是由于传感器的...
数据异常值分析和处理
p15097962069的博客
08-09 75
数据异常值分析和处理
数据分析师的必备能力—样本数据异常值识别的4种经典方法
weixin_45545159的博客
05-18 4393
对于从事数据分析岗位的小伙伴，日常工作中可能会接触到很多类型的维度数据，而在开展任务的具体实践过程中，需要我们只有具备较好的数据分析能力，才能根据实际业务需求得到有价值的分析结果。在包括业务熟悉、数据理解、逻辑思维等能力的范围内，掌握数据分析的常见算法，是我们必须要掌握的工作能力，例如数据清洗处理、特征加工分析等。 在模型开发过程中，针对建模数据的预处理过程是一项必备环节，数据预处理主要包括缺失值处理、异常值处理、重复值处理等，其目的都是为了获取一份比较完整且合理的样本数据，从而有效支持模型的拟合训练与测试
异常值判断与识别检验处理
热门推荐
dltan
03-24 2万+
异常值概念 异常值是指一组测定值中与平均值的偏差超过两倍标准差的测定值，与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。 在处理数据时，应剔除高度异常的异常值。异常值是否剔除，视具体情况而定。在统计检验时，指定为检出异常值的显著性水平α=0.05，称为检出水平；指定为检出高度异常的异常值的显著性水平α=0.01，称为舍弃水平，又称剔除水平。 异常值判断 判断异常值的规则： (1)标准差...
异常检测方法-MAD
Rnan_prince的博客
01-10 5963
绝对中位差（MAD，median absolute deviation）方法是近年来受到青睐的异常值检测方法。 MAD 定义为，一元序列Xi同其中位数偏差的绝对值的中位数（deviation，偏差本身有正有负）： 假定数据服从正态分布，我们让异常点（outliers）落在两侧的 50% 的面积里，让正常值落在中间的 50% 的区域里： 正态分布下，±0.67449包含50%面积，而1/0.67449≈1.4826，因此： 正态分布相关请参考：python标准正态分布表(scipy.s..
C语言编写异常值的识别与处理的函数
08-13
### 回答1： 可以使用以下代码来识别和处理异常值： #include <stdio.h> #include <stdlib.h> void handle_exception(int value) { if (value < 0 || value > 100) { printf("Error: Invalid value %d\n", value); exit(1); } else { printf("Value %d is valid\n", value); } } int main() { int value = 110; handle_exception(value); return 0; } 这个函数可以检查一个值是否在0到100之间，如果不是，就会输出一个错误信息并退出程序。如果值在范围内，就会输出一个确认信息。 ### 回答2： C语言编写异常值的识别与处理函数可以通过以下方式实现： 首先，定义一个函数来检测异常值，函数可以接收一个数组作为参数，并返回一个布尔值来表示该数组是否存在异常值。函数内部可以使用循环遍历数组中的每个元素，通过一定的条件判断是否满足异常值的条件。例如，可以检查数组中的元素是否超出了某个特定范围，或者是否满足某种模式。如果存在异常值，则返回true，否则返回false。 其次，可以定义一个处理异常值的函数，该函数可以接收一个数组作为参数，并对异常值进行处理。处理方式可以根据实际需求而定，例如可以将异常值替换为指定的默认值，或者将其忽略掉。函数内部也可以使用循环遍历数组中的每个元素，并根据异常值的条件进行相应的处理操作。 最后，可以在主函数中调用这两个函数来完成异常值的识别与处理工作。首先调用检测异常值的函数，如果返回true，则调用处理异常值的函数进行处理。否则，继续执行其他的程序逻辑。 需要注意的是，异常值的定义与处理方式应根据具体的应用场景进行确定。在实际编写代码时，还需要考虑异常值检测与处理函数的输入参数、返回值以及异常值的定义条件等方面的设计。 ### 回答3： 在C语言中，异常值的识别与处理可以通过编写特定的函数来实现。以下是一个简单的函数示例： ```c #include<stdio.h> // 异常值识别与处理函数 void handleException(int value) { if(value < 0) { printf("发现负数异常值：%d\n", value); // 处理负数异常值的逻辑 } else if (value > 100) { printf("发现超过100的异常值：%d\n", value); // 处理超过100的异常值的逻辑 } else { printf("正常值：%d\n", value); // 处理正常值的逻辑 } } // 主函数 int main() { int num = -10; handleException(num); num = 200; handleException(num); num = 50; handleException(num); return 0; } ``` 在上述代码中，我们定义了一个名为`handleException`的函数，它的参数`value`代表需要进行异常值处理的值。函数内部通过一系列的条件判断，对不同的异常情况进行处理。当`value`小于0时，我们输出"发现负数异常值："并打印具体的异常值；当`value`大于100时，我们相应地输出"发现超过100的异常值："并打印具体的异常值；其他情况被视为正常值，并输出"正常值："并打印具体的值。 在`main`函数中，我们分别测试了一个负数异常值(-10)、一个超过100的异常值(200)以及一个正常值(50)，通过调用`handleException`函数来进行异常值的识别与处理。 需要注意的是，这只是一个简单示例，实际应用中的异常值识别与处理函数会更加复杂，具体逻辑需要根据实际需求进行设计。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值