独家 | 在Python中使用广义极端学生化偏差（GESD）进行异常检测（附链接）

最新推荐文章于 2024-01-21 22:16:13 发布

数据派THU

最新推荐文章于 2024-01-21 22:16:13 发布

阅读量2.1k

点赞数 1

文章标签：算法 python 人工智能机器学习数据分析

本文链接：https://blog.csdn.net/tMb8Z9Vdm66wH68VX1/article/details/117935811

版权

作者：Shaleen Swarup
翻译：欧阳锦校对：王可汗

本文约1700字，建议阅读5分钟本文从理论和实践角度介绍了使用广义极端学生化偏差（GESD）进行异常检测的方法，展示了Python代码示例和相关源码。

关键字：Python 异常值检测 ESD

图源: Unsplash

异常检测在生活中起着非常重要的作用。通常，异常数据可能与某种问题或罕见事件有关，例如银行欺诈、医疗问题、结构缺陷、设备故障等。这种联系使得能够挑选出哪些数据点可以被视为异常值是非常有趣的，因为从商业角度识别这些事件通常是十分有趣的事情。

此外，许多统计方法对异常值的存在很敏感。例如，平均值和标准差的计算可能会被单个严重不准确的数据点所影响。检查异常值应该是任何数据分析的常规部分，并且应该检查潜在的异常值以查看它们是否可能是错误的数据。

任何发现数据集异常值的过程都可以被称为异常检测；也就是检测那些不合群的事物。这些异常可能是异常的网络流量，fritz上的一个传感器，或者只是分析前识别要清理的数据。

清理的数据

https://www.bmc.com/blogs/data-normalization/

基于不同方案或方法的多种技术可以用来识别异常。例如，图形的方法（箱线图、散点图）；基于距离的方案（最近邻算法、聚类算法）；统计方法（GESD、基于四分位数的技术）等等。每种方案都有其优缺点，其效果都取决于实际用例。

在本文中，我们将重点关注GESD（广义极端学生化偏差）并在Python中实现一个简单的示例以更好地了解它的原理。在开始之前，我想说明，这篇文章深受我的探索性数据分析教授Edward McFowland和Bhavesh Bhatt在YouTube上的机器学习和统计教程的讲座的启发。

机器学习和统计教程

https://ww

关注