Python筛选异常值

本文介绍了如何使用Python进行异常值检测和处理,包括常见的统计方法和机器学习技术。通过实例展示了如何利用Z-Score、IQR等方法识别异常值,并探讨了在机器学习中异常值对模型的影响及应对策略。
摘要由CSDN通过智能技术生成
# -*- coding:utf-8 -*-
"""
作者:sunli
日期:2022年01月04日
"""
# 导入第三方模块
import matplotlib
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
from scipy import stats
# % matplotlib inline
# 创建数据
from scipy.interpolate import lagrange

fdata1 = "D21.txt"
data = pd.Series(np.loadtxt(fdata1, dtype=np.float64))
u = np.mean(data)  # 计算均值
std = np.std(data)  # 计算标准差
print(u,std)
stats.kstest(data, 'norm', (u, std))  # 正态性检验
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签

# 绘制数据密度曲线
# 绘制数据密度曲线
fig = plt.figure(figsize=(10, 6))

ax1 = fig.add_subplot(2, 1, 1)

data.plot(kind='kde', style='--k', grid=True, title='密度曲线')

plt.axvline(3*std, linestyle='--', color='r')

plt.axvline(-3*std, linestyle='--', color='r')

# 筛选出异常值和正常值
error = data[np.abs(data - u) > 3*std]
d
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值