Python：异常值检测箱型图（附：正态分布3σ）

最新推荐文章于 2024-10-13 12:56:20 发布
最新推荐文章于 2024-10-13 12:56:20 发布
阅读量6.1k 收藏 56
点赞数 2
分类专栏： Python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42089281/article/details/124570603
版权
本文介绍了使用箱型图进行异常值检测的方法，强调了箱型图在数据分布检测中的优势，如不受数据分布形式限制且异常值不影响四分位数的确定。还提到了Python实现异常值检测的代码，并提及了正态分布3σ原则，但指出由于现实数据的复杂性，更倾向于使用箱型图。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

        异常值检测的方法有很多，通过数据分布图型寻找异常值、算法模型（聚类、随机森林等），我这里就是记录一下工作中做初步的数据探查时用到的箱型图检测和正态分布检测，这两种都是根据数据分布情况来识别异常值的，没有结合到业务的层面，在做初步的探查时还是高效且适用的。因为正态分布3σ的异常值检测需要数据符合正态分布，现实情况中大部分数据都是杂乱无章的，因此重点使用的是箱型图检测。

1.箱型图的优势

（1）准确稳定地描绘出数据的离散分布情况且不需要服从特定的分布形式

箱形图的绘制依靠实际数据，不需要事先假定数据服从特定的分布形式，没有对数据作任何限制性要求，它只是真实直观地表现数据形状的本来面貌；

（2）异常值不会影响四分位数的确定

箱形图判断异常值的标准以四分位数和四分位距为基础，四分位数具有一定的耐抗性，多达25%的数据可以变得任意远而不会很大地扰动四分位数，所以异常值不能对这个标准施加影响，箱形图识别异常值的结果比较客观。

2.箱型图的示意及符号说明

最低0.47元/天 解锁文章
python 异常值检测与处理——四分位距法
点云侠的博客
02-24 399
四分位距法（interquartile range，IQR）是一种常用的统计方法，用于识别数据集中的异常值和离群点。
Python 详解K-S检验与3σ原则剔除异常值
叶庭云 成为自己的光
06-16 4097
Python 详解K-S检验与3σ原则剔除异常值
异常检测-箱线图
mayan_you的专栏
10-17 1821
箱线图法: 设有容量为n的样本观察值x1,x2,…,xn，将n个样本值按自小到大排序x(1)<=x(2)<=…<=x(n)，样本p分位数(0
python:matplotlib.pyplot绘制箱线图并 检测异常值(基础一)
热门推荐
qq_44039983的博客
03-17 1万+
在数据处理中，箱线图常用来检测异常值。 数据文件data01.xls 1.绘制箱线图使用boxplot()函数 import pandas as pd import matplotlib.pyplot as plt # 读取excel文件 file_01 = pd.read_excel("data01.xls") fig = plt.figure(figsize=(16, 8)) d1 = file_01['变量1'] d2 = file_01['变量2'] d3 = file_01['变量
如何利用箱线图检测异常值
白炎灵的博客
03-16 6041
简述： 　　盒图是在1977年由美国的统计学家约翰·图基(John Tukey)发明的。它由五个数值点组成：最小值(min)，下四分位数(Q1)，中位数(median)，上四分位数(Q3)，最大值(max)。也可以往盒图里面加入平均值(mean)。如下图。下四分位数、中位数、上四分位数组成一个“带有隔间的盒子”。上四分位数到最大值之间建立一条延伸线，这个延伸线成为“胡须(whisker)”。 ...
异常值检测模型
orange_rong的博客
12-24 1422
异常值检测 异常值检测之LOF 判断输入值是否为数值型数据,在输入数据类型相同的情况下判断俩点之间的距离 语法点： 一、isinstance(object, classinfo) 参数 object – 实例对象。 classinfo – 可以是直接或间接类名、基本类型或者由它们组成的元组。 返回值 如果对象的类型与参数二的类型（classinfo）相同则返回 True，否则返回 False 二...
不用再找了，这就是全网最全的异常检测方法总结
Python数据挖掘
05-28 6960
大家好，今天正好趁着周末，收集整理全网最常使用的异常检测方法（附资料来源和代码），喜欢记得收藏、点赞、关注。 注：技术交流文末获取 一、基于分布的方法 1. 3sigma 基于正态分布，3sigma准则认为超过3sigma的数据为异常点。 图1: 3sigma def three_sigma(s): mu, std = np.mean(s), np.std(s) lower, upper = mu-3*std, mu+3*std return lower, upper 2. Z
异常值检测（1）——箱线图四分位距和3σ
weixin_52040570的博客
06-21 3118
异常值就是那些偏离多数样本值过多的值，比如我用机器学习在做房价预测时，获取的沈阳浑南区数据普遍都在11000左右，结果有那么一两个楼盘是20000（管他是不是碧桂园），那么这两个值就是异常值。
Python数据分析基础：异常值检测和处理
01-27
此外，还可以使用numpy的`percentile`方法和seaborn的`boxplot`函数来实现箱型图的绘制，进一步帮助识别异常值。 非统计方法主要包括基于邻近度的方法，如k-最近邻(KNN)异常检测，以及基于密度的方法，如DBSCAN聚类...
利用Python进行异常值分析实例代码
12-24
常用检测方法3σ原则和箱型图。其中，3σ原则只适用服从正态分布的数据。在3σ原则下，异常值被定义为观察值和平均值的偏差超过3倍标准差的值。P(|x−μ|>3σ)≤0.003，在正太分布假设下，大于3σ的值出现的概率小于...
Python实现非正太分布的异常值检测方式
09-18
在正态分布的数据中，常用的异常值检测方法是基于标准差，例如3σ原则。然而，当数据不符合正态分布时，这些方法就不再适用。本文主要探讨了在非正太分布情况下如何使用Python进行异常值检测，特别是利用箱形图（Box...
数据挖掘-Python-箱线图方法查找出数据表中异常值，并利用拉格朗日插值法和牛顿插值法补充空值（数据表+源码+报告）
07-03
数据表+源码+报告 大三数据挖掘实验
python封装的异常值处理函数（包括箱线图去除异常值等）
12-21
# 这里我包装了一个异常值处理的代码，可以随便调用。 def outliers_proc(data, col_name, scale=3): """ 用于清洗异常值，默认用 box_plot（scale=3）进行清洗 :param data: 接收 pandas 数据格式 :param col_name: pandas 列名 :param scale: 尺度 :return: """ def box_plot_outliers(data_ser, box_scale): """ 利用箱线图去除异常值
数据处理和分析之数据预处理：异常值处理(Outlier Detection)：基于机器学习的异常值检测模型
2401_87715305的博客
10-13 1347
异常值的定义往往依赖于具体的应用场景和领域知识，这使得异常值检测成为一个主观的过程。不同的业务需求可能要求不同的异常值检测标准，这需要模型具有一定的灵活性和可定制性。
连续型变量分析之箱线图以及与正态分布的关系
橙心橙意橙续缘的博客
12-15 6787
箱线图 箱线图主要用于分析单个连续型变量的分布，它可以从宏观的角度看出变量的分布，对于分析离群点非常方便。 如下图所示的箱线图中我们可以看到几个信息，数据被明显的四等分。 可以很清楚地将box plot 与正态分布进行对比，发现它们的相似之处。 正态分布包含0.7%的异常点，同样我们也可以清楚地在箱线图中看到。 ...
箱线图识别异常值的方法
Python领域优质萌新学习笔记
09-24 2887
值得注意的是，这种方法识别出的异常值是统计上的异常值，并不一定意味着这些数据是不正确的或者没有价值，它们可能代表了数据中的稀有事件或者重要的信息。箱线图（Box Plot），又称为盒须图，是一种用于展示一组数据分布情况的统计图表。它通过绘制数据的最大值、最小值、中位数、第一四分位数（Q1）和第三四分位数（Q1）来描述数据的分布。的数据点都可以被定义为异常值。：首先计算四分位距，即第三四分位数（Q3）与第一四分位数（Q1）之间的差值。在箱线图中，异常值通常用单独的点表示，位于箱体之外的横线（须线）的末端。
Python数据分析实战，使用箱线图识别学生成绩异常值，做原因分析
weixin_42684533的博客
01-09 2466
学生成绩可反应某次考试的学业水平情况，对于成绩异常的也可做诊断分析，比如某次高三理科月考成绩就可以做诊断分析，使用箱线图研究学生成绩学业水平情况。箱线图可显示数据分散情况，常用于异常值的检测和识别，在研究学业水平时，箱线图不受异常值的影响，可以相对稳定地描述数据的离散分布情况，下面一起学习。
python异常值检测模型_【一点资讯】代码详解：适用20种算法的PyOD库，检测异常值如此优秀 www.yidianzixun.com...
weixin_39657575的博客
12-11 851
全文共4001字，预计学习时长8分钟数据探索没有捷径可走。如果你跳过数据科学项目阶段，直接进入到构建模型的阶段，经过一段时间后，你会发现准确度会达到上限——模型的性能不会提高。这是因为异常值(也称为“离散值”)这个经常被我们忽略的问题。诱因就在于根据给定的数据开始建立模型——但这实际上是有问题的。数据探索包括许多因素，例如变量识别、缺失值处理、特征工程等。检测和处理异常值也是数据探索阶段的主要因素...
异常检测模型整理
小太阳~
08-01 1万+
写在前面 文中使用了其他博主的图，具体链接已不好追踪，如果不妥，还请谅解（私信我加备注哦）~ 异常检测主要检测数据中的离群点，异常数据的特征值与正常数据的特征值距离较远。 异常检测具有以下难点： 标签数据较少，从较少的标签数据中很难学习到哪些是正常数据，哪些是异常数据。 难以划分异常和正常的边界。 数据本身存在噪声，导致噪声和异常难以区分。 处理异常检测的模型包括监督模型、半监督学习和无监督学习模型，具体如下： 一、监督模型 常见分类模型都可使用。若有标签数据，则优先使用有监督学习方法解决问题。在基于监
Python用正态分布3σ原则标记异常值
最新发布
11-23
在Python中，正态分布（也称高斯分布）的3σ原则是一个统计学标准，用于识别数据集中被认为是异常值的点。正常情况下，如果数据服从正态分布，大约99.7%的数据会落在平均值（μ）加减三个标准差（σ）的范围内。超出这个范围之外的数据点就被认为是异常值，因为它们偏离了常规的数据模式。 在Python中，如果你有一个数值列表并想基于这个原则检测异常值，可以先计算出平均值（mean）和标准差（std），然后检查哪些值的距离大于3倍的标准差。例如： ```python import numpy as np def detect_outliers(data): mean = np.mean(data) std_dev = np.std(data) threshold = mean + 3 * std_dev outliers = [x for x in data if x > threshold] return outliers data = ... # 你的数值列表 outliers = detect_outliers(data) ``` 在这个例子中，`outliers`列表将包含被认为是异常值的数据点。请注意，这只是一个基本的处理方法，并非所有情况都适用于正态分布，对于非正态分布的数据，可能需要采用其他方法。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值