3sigma原则去除异常值原理及其代码实现

最新推荐文章于 2024-09-14 08:25:16 发布

王摇摆

最新推荐文章于 2024-09-14 08:25:16 发布

阅读量770

点赞数 12

文章标签： python

本文链接：https://blog.csdn.net/weixin_44943389/article/details/135848146

版权

本文介绍了如何使用Python的numpy和matplotlib库，通过3σ原理去除数据集中的异常点，并通过可视化展示正常数据和异常值。作者演示了如何计算均值和标准差，设定阈值，以及如何在图表中呈现这些数据点和异常值边界。

摘要由CSDN通过智能技术生成

在这里插入图片描述

学习测试代码

"""
# -*- coding: utf-8 -*-
# @Time    : 2024/1/25 16:32
# @Author  : 王摇摆
# @FileName: code5.py
# @Software: PyCharm
# @Blog    ：https://blog.csdn.net/weixin_44943389?type=blog
# 异常点去除的原理，3Σ原理
"""

import matplotlib.pyplot as plt
import numpy as np

# 设置matplotlib配置参数，使用支持中文的字体
plt.rcParams['font.sans-serif'] = ['SimHei']  # 设置宋体
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号

# 设置随机种子以确保结果可重复
np.random.seed(103)

# 生成一个正态分布的数据集，均值为 50，标准差为 10，共 500 个数据点
data = np.random.normal(50, 10, 500)

# 计算均值和标准差
mean_value = np.mean(data)
std_dev = np.std(data)

# 定义异常值的阈值
lower_bound = mean_value - 3 * std_dev
upper_bound = mean_value + 3 * std_dev

# 找出异常值
outliers = (data < lower_bound) | (data > upper_bound)

# 可视化
plt.figure()
plt.scatter(np.arange(len(data))[~outliers], data[~outliers], 25, 'b', marker='o', label='正常数据') # 蓝色圆圈
plt.scatter(np.arange(len(data))[outliers], data[outliers], 40, 'r', marker='d', label='异常值') # 红色菱形

# 增加异常值阈值线
plt.axhline(lower_bound, linestyle='--', linewidth=1.5, label='异常值下界')
plt.axhline(upper_bound, linestyle='--', linewidth=1.5, label='异常值上界')

plt.grid(True) # 开启网格
plt.xlabel('数据点索引', fontsize=12)
plt.ylabel('数据值', fontsize=12)
plt.title('数据点和异常值', fontsize=14)
plt.legend(loc='best')
plt.xlim([0, len(data)]) # 设置X轴的范围
plt.show()