[Python数据分析] 异常数据处理

已于 2023-03-14 21:23:43 修改
阅读量448 收藏 2
点赞数 1
分类专栏： Python数据分析 文章标签： python 数据分析 开发语言
于 2023-01-14 17:30:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54659638/article/details/128687202
版权

导入pandas和numpy

import pandas as pd
import numpy as np

1.导入数据并查看属性

data = pd.read_csv("data/Online_Retail_Fake.csv")  # 导入数据

data.shape # 查看shape属性

outputs:

(541910, 8)

data.size # 查看size属性

outputs:

4335280

data  # 查看数据

outputs:

InvoiceNoStockCodeDescriptionQuantityInvoiceDateUnitPriceCustomerIDCountry
053636585123AWHITE HANGING HEART T-LIGHT HOLDER62010/12/1 8:262.5517850.0United Kingdom
153636571053WHITE METAL LANTERN62010/12/1 8:26NaN17850.0United Kingdom
253636584406BNaN82010/12/1 8:262.7517850.0United Kingdom
353636584029GKNITTED UNION FLAG HOT WATER BOTTLE62010/12/1 8:263.3917850.0United Kingdom
453636584029ERED WOOLLY HOTTIE WHITE HEART.62010/12/1 8:263.3917850.0United Kingdom
...........................
54190558158722899CHILDREN'S APRON DOLLY GIRL62011/12/9 12:502.1012680.0France
54190658158723254CHILDRENS CUTLERY DOLLY GIRL42011/12/9 12:504.1512680.0France
54190758158723255CHILDRENS CUTLERY CIRCUS PARADE42011/12/9 12:504.1512680.0France
54190858158722138BAKING SET 9 PIECE RETROSPOT32011/12/9 12:504.9512680.0France
54190958158722138Wrong booking32011/12/9 12:504.9512680.0France

541910 rows × 8 columns

data.info() # 查看元数据信息

output:

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 541910 entries, 0 to 541909
Data columns (total 8 columns):
 #   Column       Non-Null Count   Dtype  
---  ------       --------------   -----  
 0   InvoiceNo    541910 non-null  object 
 1   StockCode    541909 non-null  object 
 2   Description  540454 non-null  object 
 3   Quantity     541910 non-null  int64  
 4   InvoiceDate  541910 non-null  object 
 5   UnitPrice    541907 non-null  float64
 6   CustomerID   406828 non-null  float64
 7   Country      541909 non-null  object 
dtypes: float64(2), int64(1), object(5)
memory usage: 33.1+ MB

2.异常数据处理

2.1空值

data.isnull().sum() # 查看是否有空值

InvoiceNo           0
StockCode           1
Description      1456
Quantity            0
InvoiceDate         0
UnitPrice           3
CustomerID     135082
Country             1
dtype: int64

可以看到各个属性列的空值个数

2.2 重复数据

data.duplicated()

output:

0         False
1         False
2         False
3         False
4         False
          ...  
541905    False
541906    False
541907    False
541908    False
541909    False
Length: 541910, dtype: bool

data.duplicated().sum()

outputs:

5268

可以看出有较多重复数据

data[data.duplicated()].head()

outputs:

InvoiceNoStockCodeDescriptionQuantityInvoiceDateUnitPriceCustomerIDCountry
51753640921866UNION JACK FLAG LUGGAGE TAG12010/12/1 11:451.2517908.0United Kingdom
52753640922866HAND WARMER SCOTTY DOG DESIGN12010/12/1 11:452.1017908.0United Kingdom
53753640922900SET 2 TEA TOWELS I LOVE LONDON12010/12/1 11:452.9517908.0United Kingdom
53953640922111SCOTTIE DOG HOT WATER BOTTLE12010/12/1 11:454.9517908.0United Kingdom
55553641222327ROUND SNACK BOXES SET OF 4 SKULLS12010/12/1 11:492.9517920.0United Kingdom

可以看出InvoiceNo为536409的信息较多，需要单独分析

查看InvoiceNo为536409的数据

data[data["InvoiceNo"] == "536409"]

outputs:

InvoiceNoStockCodeDescriptionQuantityInvoiceDateUnitPriceCustomerIDCountry
48353640990199C5 STRAND GLASS NECKLACE CRYSTAL32010/12/1 11:456.3517908.0United Kingdom
48453640921479WHITE SKULL HOT WATER BOTTLE12010/12/1 11:453.7517908.0United Kingdom
48553640922111SCOTTIE DOG HOT WATER BOTTLE12010/12/1 11:454.9517908.0United Kingdom
48653640922785SQUARECUSHION COVER PINK UNION FLAG12010/12/1 11:456.7517908.0United Kingdom
........................
53753640922900SET 2 TEA TOWELS I LOVE LONDON12010/12/1 11:452.9517908.0United Kingdom
53853640921980PACK OF 12 RED RETROSPOT TISSUES122010/12/1 11:450.2917908.0United Kingdom
53953640922111SCOTTIE DOG HOT WATER BOTTLE12010/12/1 11:454.9517908.0United Kingdom
54053640922112CHOCOLATE HOT WATER BOTTLE12010/12/1 11:454.9517908.0United Kingdom
data[data.duplicated(keep=False)][data[data.duplicated(keep=False)]["InvoiceNo"] == "536409"]

outputs:

InvoiceNoStockCodeDescriptionQuantityInvoiceDateUnitPriceCustomerIDCountry
48553640922111SCOTTIE DOG HOT WATER BOTTLE12010/12/1 11:454.9517908.0United Kingdom
48953640922866HAND WARMER SCOTTY DOG DESIGN12010/12/1 11:452.1017908.0United Kingdom
49453640921866UNION JACK FLAG LUGGAGE TAG12010/12/1 11:451.2517908.0United Kingdom
51753640921866UNION JACK FLAG LUGGAGE TAG12010/12/1 11:451.2517908.0United Kingdom
52153640922900SET 2 TEA TOWELS I LOVE LONDON12010/12/1 11:452.9517908.0United Kingdom
52753640922866HAND WARMER SCOTTY DOG DESIGN12010/12/1 11:452.1017908.0United Kingdom
53753640922900SET 2 TEA TOWELS I LOVE LONDON12010/12/1 11:452.9517908.0United Kingdom
53953640922111SCOTTIE DOG HOT WATER BOTTLE12010/12/1 11:454.9517908.0United Kingdom

可直接获取如上重复数据

2.3 异常处理

2.3.1 空值处理

data.dropna()

outputs:

InvoiceNoStockCodeDescriptionQuantityInvoiceDateUnitPriceCustomerIDCountry
053636585123AWHITE HANGING HEART T-LIGHT HOLDER62010/12/1 8:262.5517850.0United Kingdom
353636584029GKNITTED UNION FLAG HOT WATER BOTTLE62010/12/1 8:263.3917850.0United Kingdom
453636584029ERED WOOLLY HOTTIE WHITE HEART.62010/12/1 8:263.3917850.0United Kingdom
553636522752SET 7 BABUSHKA NESTING BOXES22010/12/1 8:267.6517850.0United Kingdom
653636521730GLASS STAR FROSTED T-LIGHT HOLDER62010/12/1 8:264.2517850.0United Kingdom
...........................
54190558158722899CHILDREN'S APRON DOLLY GIRL62011/12/9 12:502.1012680.0France
54190658158723254CHILDRENS CUTLERY DOLLY GIRL42011/12/9 12:504.1512680.0France
54190758158723255CHILDRENS CUTLERY CIRCUS PARADE42011/12/9 12:504.1512680.0France
54190858158722138BAKING SET 9 PIECE RETROSPOT32011/12/9 12:504.9512680.0France
54190958158722138Wrong booking32011/12/9 12:504.9512680.0France

406825 rows × 8 columns

如上实现某一行有一个空值则去掉

data.dropna(how="all")

outputs:

InvoiceNoStockCodeDescriptionQuantityInvoiceDateUnitPriceCustomerIDCountry
053636585123AWHITE HANGING HEART T-LIGHT HOLDER62010/12/1 8:262.5517850.0United Kingdom
153636571053WHITE METAL LANTERN62010/12/1 8:26NaN17850.0United Kingdom
253636584406BNaN82010/12/1 8:262.7517850.0United Kingdom
353636584029GKNITTED UNION FLAG HOT WATER BOTTLE62010/12/1 8:263.3917850.0United Kingdom
453636584029ERED WOOLLY HOTTIE WHITE HEART.62010/12/1 8:263.3917850.0United Kingdom
...........................
54190558158722899CHILDREN'S APRON DOLLY GIRL62011/12/9 12:502.1012680.0France
54190658158723254CHILDRENS CUTLERY DOLLY GIRL42011/12/9 12:504.1512680.0France
54190758158723255CHILDRENS CUTLERY CIRCUS PARADE42011/12/9 12:504.1512680.0France
54190858158722138BAKING SET 9 PIECE RETROSPOT32011/12/9 12:504.9512680.0France
54190958158722138Wrong booking32011/12/9 12:504.9512680.0France

541910 rows × 8 columns

如上实现某一行全为空值才去掉

data.dropna(axis=1)

outputs:

InvoiceNoQuantityInvoiceDate
053636562010/12/1 8:26
153636562010/12/1 8:26
253636582010/12/1 8:26
353636562010/12/1 8:26
453636562010/12/1 8:26
............
54190558158762011/12/9 12:50
54190658158742011/12/9 12:50
54190758158742011/12/9 12:50
54190858158732011/12/9 12:50
54190958158732011/12/9 12:50

541910 rows × 3 columns

如上实现按列去除

data.dropna(axis=1, how="all")

outputs:

InvoiceNoStockCodeDescriptionQuantityInvoiceDateUnitPriceCustomerIDCountry
053636585123AWHITE HANGING HEART T-LIGHT HOLDER62010/12/1 8:262.5517850.0United Kingdom
153636571053WHITE METAL LANTERN62010/12/1 8:26NaN17850.0United Kingdom
253636584406BNaN82010/12/1 8:262.7517850.0United Kingdom
353636584029GKNITTED UNION FLAG HOT WATER BOTTLE62010/12/1 8:263.3917850.0United Kingdom
453636584029ERED WOOLLY HOTTIE WHITE HEART.62010/12/1 8:263.3917850.0United Kingdom
...........................
54190558158722899CHILDREN'S APRON DOLLY GIRL62011/12/9 12:502.1012680.0France
54190658158723254CHILDRENS CUTLERY DOLLY GIRL42011/12/9 12:504.1512680.0France
54190758158723255CHILDRENS CUTLERY CIRCUS PARADE42011/12/9 12:504.1512680.0France
54190858158722138BAKING SET 9 PIECE RETROSPOT32011/12/9 12:504.9512680.0France
54190958158722138Wrong booking32011/12/9 12:504.9512680.0France

541910 rows × 8 columns

如上实现按列去除全为空值的列

data.fillna(value=0)
InvoiceNoStockCodeDescriptionQuantityInvoiceDateUnitPriceCustomerIDCountry
053636585123AWHITE HANGING HEART T-LIGHT HOLDER62010/12/1 8:262.5517850.0United Kingdom
153636571053WHITE METAL LANTERN62010/12/1 8:260.0017850.0United Kingdom
253636584406B082010/12/1 8:262.7517850.0United Kingdom
353636584029GKNITTED UNION FLAG HOT WATER BOTTLE62010/12/1 8:263.3917850.0United Kingdom
453636584029ERED WOOLLY HOTTIE WHITE HEART.62010/12/1 8:263.3917850.0United Kingdom
...........................
54190558158722899CHILDREN'S APRON DOLLY GIRL62011/12/9 12:502.1012680.0France
54190658158723254CHILDRENS CUTLERY DOLLY GIRL42011/12/9 12:504.1512680.0France
54190758158723255CHILDRENS CUTLERY CIRCUS PARADE42011/12/9 12:504.1512680.0France
54190858158722138BAKING SET 9 PIECE RETROSPOT32011/12/9 12:504.9512680.0France
54190958158722138Wrong booking32011/12/9 12:504.9512680.0France

541910 rows × 8 columns

如上实现空值填充为0

data.fillna(method="ffill")

outputs:

InvoiceNoStockCodeDescriptionQuantityInvoiceDateUnitPriceCustomerIDCountry
053636585123AWHITE HANGING HEART T-LIGHT HOLDER62010/12/1 8:262.5517850.0United Kingdom
153636571053WHITE METAL LANTERN62010/12/1 8:262.5517850.0United Kingdom
253636584406BWHITE METAL LANTERN82010/12/1 8:262.7517850.0United Kingdom
353636584029GKNITTED UNION FLAG HOT WATER BOTTLE62010/12/1 8:263.3917850.0United Kingdom
453636584029ERED WOOLLY HOTTIE WHITE HEART.62010/12/1 8:263.3917850.0United Kingdom
...........................
54190558158722899CHILDREN'S APRON DOLLY GIRL62011/12/9 12:502.1012680.0France
54190658158723254CHILDRENS CUTLERY DOLLY GIRL42011/12/9 12:504.1512680.0France
54190758158723255CHILDRENS CUTLERY CIRCUS PARADE42011/12/9 12:504.1512680.0France
54190858158722138BAKING SET 9 PIECE RETROSPOT32011/12/9 12:504.9512680.0France
54190958158722138Wrong booking32011/12/9 12:504.9512680.0France

541910 rows × 8 columns

如上实现空值填充为上面的数据

data.fillna(method="bfill")

outputs:

InvoiceNoStockCodeDescriptionQuantityInvoiceDateUnitPriceCustomerIDCountry
053636585123AWHITE HANGING HEART T-LIGHT HOLDER62010/12/1 8:262.5517850.0United Kingdom
153636571053WHITE METAL LANTERN62010/12/1 8:262.7517850.0United Kingdom
253636584406BKNITTED UNION FLAG HOT WATER BOTTLE82010/12/1 8:262.7517850.0United Kingdom
353636584029GKNITTED UNION FLAG HOT WATER BOTTLE62010/12/1 8:263.3917850.0United Kingdom
453636584029ERED WOOLLY HOTTIE WHITE HEART.62010/12/1 8:263.3917850.0United Kingdom
...........................
54190558158722899CHILDREN'S APRON DOLLY GIRL62011/12/9 12:502.1012680.0France
54190658158723254CHILDRENS CUTLERY DOLLY GIRL42011/12/9 12:504.1512680.0France
54190758158723255CHILDRENS CUTLERY CIRCUS PARADE42011/12/9 12:504.1512680.0France
54190858158722138BAKING SET 9 PIECE RETROSPOT32011/12/9 12:504.9512680.0France
54190958158722138Wrong booking32011/12/9 12:504.9512680.0France

541910 rows × 8 columns

如上实现空值填充为下面的数据

2.3.2 重复值处理

data.drop_duplicates()

outputs:

InvoiceNoStockCodeDescriptionQuantityInvoiceDateUnitPriceCustomerIDCountry
053636585123AWHITE HANGING HEART T-LIGHT HOLDER62010/12/1 8:262.5517850.0United Kingdom
153636571053WHITE METAL LANTERN62010/12/1 8:26NaN17850.0United Kingdom
253636584406BNaN82010/12/1 8:262.7517850.0United Kingdom
353636584029GKNITTED UNION FLAG HOT WATER BOTTLE62010/12/1 8:263.3917850.0United Kingdom
453636584029ERED WOOLLY HOTTIE WHITE HEART.62010/12/1 8:263.3917850.0United Kingdom
...........................
54190558158722899CHILDREN'S APRON DOLLY GIRL62011/12/9 12:502.1012680.0France
54190658158723254CHILDRENS CUTLERY DOLLY GIRL42011/12/9 12:504.1512680.0France
54190758158723255CHILDRENS CUTLERY CIRCUS PARADE42011/12/9 12:504.1512680.0France
54190858158722138BAKING SET 9 PIECE RETROSPOT32011/12/9 12:504.9512680.0France
54190958158722138Wrong booking32011/12/9 12:504.9512680.0France

去除重复数据

data

outputs:

InvoiceNoStockCodeDescriptionQuantityInvoiceDateUnitPriceCustomerIDCountry
053636585123AWHITE HANGING HEART T-LIGHT HOLDER62010/12/1 8:262.5517850.0United Kingdom
153636571053WHITE METAL LANTERN62010/12/1 8:26NaN17850.0United Kingdom
253636584406BNaN82010/12/1 8:262.7517850.0United Kingdom
353636584029GKNITTED UNION FLAG HOT WATER BOTTLE62010/12/1 8:263.3917850.0United Kingdom
453636584029ERED WOOLLY HOTTIE WHITE HEART.62010/12/1 8:263.3917850.0United Kingdom
...........................
54190558158722899CHILDREN'S APRON DOLLY GIRL62011/12/9 12:502.1012680.0France
54190658158723254CHILDRENS CUTLERY DOLLY GIRL42011/12/9 12:504.1512680.0France
54190758158723255CHILDRENS CUTLERY CIRCUS PARADE42011/12/9 12:504.1512680.0France
54190858158722138BAKING SET 9 PIECE RETROSPOT32011/12/9 12:504.9512680.0France
54190958158722138Wrong booking32011/12/9 12:504.9512680.0France

541910 rows × 8 columns

data = data.fillna(method="bfill")

data

outputs:

InvoiceNoStockCodeDescriptionQuantityInvoiceDateUnitPriceCustomerIDCountry
053636585123AWHITE HANGING HEART T-LIGHT HOLDER62010/12/1 8:262.5517850.0United Kingdom
153636571053WHITE METAL LANTERN62010/12/1 8:262.7517850.0United Kingdom
253636584406BKNITTED UNION FLAG HOT WATER BOTTLE82010/12/1 8:262.7517850.0United Kingdom
353636584029GKNITTED UNION FLAG HOT WATER BOTTLE62010/12/1 8:263.3917850.0United Kingdom
453636584029ERED WOOLLY HOTTIE WHITE HEART.62010/12/1 8:263.3917850.0United Kingdom
...........................
54190558158722899CHILDREN'S APRON DOLLY GIRL62011/12/9 12:502.1012680.0France
54190658158723254CHILDRENS CUTLERY DOLLY GIRL42011/12/9 12:504.1512680.0France
54190758158723255CHILDRENS CUTLERY CIRCUS PARADE42011/12/9 12:504.1512680.0France
54190858158722138BAKING SET 9 PIECE RETROSPOT32011/12/9 12:504.9512680.0France
54190958158722138Wrong booking32011/12/9 12:504.9512680.0France

541910 rows × 8 columns

data.drop_duplicates(["InvoiceNo", "UnitPrice"])

outputs:

InvoiceNoStockCodeDescriptionQuantityInvoiceDateUnitPriceCustomerIDCountry
053636585123AWHITE HANGING HEART T-LIGHT HOLDER62010/12/1 8:262.5517850.0United Kingdom
153636571053WHITE METAL LANTERN62010/12/1 8:262.7517850.0United Kingdom
353636584029GKNITTED UNION FLAG HOT WATER BOTTLE62010/12/1 8:263.3917850.0United Kingdom
553636522752SET 7 BABUSHKA NESTING BOXES22010/12/1 8:267.6517850.0United Kingdom
653636521730GLASS STAR FROSTED T-LIGHT HOLDER62010/12/1 8:264.2517850.0United Kingdom
...........................
54189758158722728ALARM CLOCK BAKELIKE PINK42011/12/9 12:503.7512680.0France
54190358158723256CHILDRENS CUTLERY SPACEBOY42011/12/9 12:504.1512680.0France
54190458158722613PACK OF 20 SPACEBOY NAPKINS122011/12/9 12:500.8512680.0France
54190558158722899CHILDREN'S APRON DOLLY GIRL62011/12/9 12:502.1012680.0France
54190858158722138BAKING SET 9 PIECE RETROSPOT32011/12/9 12:504.9512680.0France

204727 rows × 8 columns

如上实现去除 InvoiceNo和UnitPrice相同的数据

是易安吖
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python-pandas模块9-数据拆分-异常值筛选-过滤
huskyKKK的博客
08-25 1334
pandas模块-数据拆分-异常值筛选-过滤 导入模块： import numpy as np import pandas as pd from pandas import Series,DataFrame from numpy import nan as NA # matplotlib做图模块 import matplotlib.pyplot as plt # 处理中文正常显示 plt.rcParams['font.sans-serif'] = ['Microsoft YaHei'] 1.数据拆分(分割
python打开串口怎么异常处理_Python学习之异常处理
weixin_39585974的博客
02-20 1238
1.首先了解错误和异常的概念：错误：代码运行前的代码错误或者是程序执行过程中的逻辑错误1：语法错误：代码不符合解释器或者编译器语法(代码错误)2：逻辑错误：不完整或者不合法输入或者计算出现问题(输入时或者计算时，比如除零操作等)异常：执行过程中出现问题导致程序无法继续执行1：程序遇到逻辑或者算法问题(代码错误导致程序无法正确的执行)2：运行过程中计算机错误(内存不够或者IO错误)(硬件环境出现问题...
用Python做单变量数据集的异常点分析
weixin_33811961的博客
06-13 309
2019独角兽企业重金招聘Python工程师标准>>> ...
python打开串口怎么异常处理_python异常处理
weixin_39615419的博客
12-05 592
在python脚本运行过程中如果出现什么问题，会报错，还会停止脚本的运行。我们可以用异常处理来解决这种问题#-*- coding:utf-8 -*-__author__ = "MuT6 Sch01aR"name = ['test','python']try:name[3]#except Exception 抓取全部的错误#except (KeyError,IndexError) 抓取部分的错...
python异常值处理实例_Python机器学习：异常值查找和处理
weixin_42422362的博客
02-20 3056
再一次的通过写文章的方式强化记忆，本文内容均来源于以上文章。先说如何处理检测到的异常值？有些算法对异常值很敏感，如逻辑回归算法。如果不处理，用该算法拟合出来的模型的效果、精确度会很低。有些算法对异常值不敏感，可以不处理异常值。由于目前学习到的3种算法(线性回归、逻辑回归、随机森林)，所以还是处理异常值处理异常值可以像处理缺失值的方法一样：删除或用特殊值代替如何查找到异常值？查看数据的描述统计信息d...
python数据分析练习题
02-25
总的来说，Python数据分析是一个涵盖了数据处理、统计分析和机器学习的综合性领域。通过不断的练习和实际项目，你将逐渐熟悉这个领域的工具和技术，成为数据驱动决策的专家。在这个过程中，理解数据、选择合适的方法...
Python数据分析可视化源码实例
10-03
Python数据分析可视化是现代数据科学中的重要工具，它结合了强大的数据处理库如Pandas和NumPy，以及优秀的可视化库如Matplotlib、Seaborn和Plotly等，为数据科学家提供了高效且直观的数据洞察手段。本资源包含了一...
Python数据分析实战源代码
05-15
Python数据分析实战源代码是针对那些想要深入理解和应用Python进行数据处理和分析的初学者和专业人士的宝贵资源。这个综合性的教程共分为六个章节，每个章节都涵盖了数据分析过程中的一个重要环节，确保学习者能够...
数据处理数据分析-Python数据分析基础
最新发布
07-19
### 数据处理数据分析—Python数据分析基础 #### 数据处理与分析概览 在当今信息化时代，数据已成为企业决策的重要依据。无论是互联网公司还是传统行业，都离不开对数据的有效利用。数据处理和数据分析是数据科学...
python数据分析与处理
07-26
Python在数据分析和处理方面具有广泛的应用，下面是对这个过程的描述： 数据获取：首先，需要获取要分析和处理的数据。这可以包括从数据库、文件（如CSV、Excel等）、API接口或网络爬取等方式获取数据。 数据清洗...
python机器学习-异常数据分析
笔记本
09-06 489
画出数据图，找异常数据
Python数据分析-异常数据处理
qq_40676033的博客
09-17 3113
本文为博主在处理异常数据的笔记与总结，如有理解不当之处，欢迎指正。 个人博客连接： JMX的个人博客 本篇文章主要是解决单变量数据集中的异常点分析,本代码中对异常数据的处理方式为删除，剔除异常数据，也可以适当修改，对异常数据进行自己需要的操作。 1. 四分位法 原理介绍： 首先计算出第一四分位数（Q1）、中位数(第二四分位数Q2)、第三四分位数（Q3）。 中位数也就是将一组数字按从小到大的顺序...
【Python数据分析基础】_ 异常值检测和处理
marraybug的博客
06-29 637
在机器学习中，异常检测和处理是一个比较小的分支，或者说，是机器学习的一个副产物，因为在一般的预测问题中，模型通常是对整体样本数据结构的一种表达方式，这种表达方式通常抓住的是整体样本一般性的性质，而那些在这些性质上表现完全与整体样本不一致的点，我们就称其为异常点，通常异常点在预测问题中是不受开发者欢迎的，因为预测问题通产关注的是整体样本的性质，而异常点的生成机制与整体样本完全不一致，如果算法对异常点敏感，那么生成的模型并不能对整体样本有一个较好的表达，从而预测也会不准确。 从另一方面来说，异常点在某些场景下反
python异常值检测和处理_【Python实战】单变量异常值检测
weixin_42510783的博客
02-04 1845
【Python实战】单变量异常值检测异常值检测是数据预处理阶段重要的环节，这篇文章介绍下对于单变量异常值检测的常用方法，通过Python代码实现。一、什么是异常值异常值是在数据集中与其他观察值有很大差距的数据点，它的存在，会对随后的计算结果产生不适当的影响，因此检测异常值并加以适当的处理是十分必要的。二、异常值的处理异常值并不都是坏的，了解这一点非常重要。只是简单地从数据中删除异常值，而不考虑它们...
异常数据分析
weixin_45065245的博客
03-21 1852
数据异常分析 文章目录数据异常分析如何确定异常数学上实战中探索异常的原因首先确定数据是否准确判断已知动作是否带来影响，计算影响量级对异常指标拆解定位量化角度常见指标根因分析(Root Cause Analysis)算法控制替代法连环替代法控制替代法超均贡献计算法1.贡献度计算公式2.超均贡献度的解释性综合贡献计算法1.问题提出2 计算公式3 案例说明MDRCA(Multi-Dimensional Root Cause Analysis)算法1算法背景2原理介绍异常检测算法原理天级异常检测1 预研选择2 异常
处理异常数据
月来better
05-28 222
根据后端返回的数据，过滤掉正常的数据，获取异常的数据展示 后端数据如下： let data = { a: { id: 1, result: { status: "error", code: "HTTP_400", message: "missing parameter" } }, b: { id: 2, result: { status: "success",
mysql按照客户对数据分类_数据分析—基于RFM用MySQL对客户进行深入分析
weixin_35861221的博客
01-28 432
数据来源理解数据InvoiceNo：发票编号 ；每笔交易分配唯一的6位整数，而退货订单的代码以字母'c'开头StockCode：产品编号；每个不同的产品分配唯一的5位整数Description：产品描述；对每件产品的简略描述Quantity：产品数量；每笔交易的每件产品的数量InvoiceDate：交易日期；每笔交易发生的日期和时间UnitPrice：单价(英镑)；单位产品价格CustomerID...
python 元素关联分组_关联规则之案例分析：销售商品分析（购物篮分析）
weixin_39849942的博客
11-21 487
项目名称：销售商品分析（购物篮分析）项目目的：通过客户每次购买商品的数据信息挖掘商品之间的关联关系以调整经营策略项目过程：观察数据的基本信息InvoiceNo：发票号码，作为交易记录的唯一标识StockCode：商品代码Description：商品描述Quantity：交易数量InvoiceDate：开票日期，作为交易产生的日期UnitPrice：商品单价CustomerID：客户IDCountr...
数据分析的异常值处理
09-23 3140
在数据分析时，经常需要对数据的异常值进行处理，异常值指的是远远偏离整个样本总体的观测值，异常值的存在会降低数据的正态性以及模型的拟合能力等等。异常值的检测主要用箱型图、直方图、散点图等等。今天，本文会介绍异常值的检测以及处理。
Python数据分析与处理实战指南
Python作为数据分析的利器，能够简化复杂的数据处理流程，让数据分析工作变得更加高效和直观。无论是初学者还是专业数据分析师，都能从中受益。文档接下来将详细介绍各个步骤的具体操作方法，以及如何通过Python解决...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

是易安吖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值