数据分析之特征分析（一）

最新推荐文章于 2023-08-25 18:47:30 发布

weixin_43824060

最新推荐文章于 2023-08-25 18:47:30 发布

阅读量1.1k

点赞数

文章标签：数据可视化数据分析 python

本文链接：https://blog.csdn.net/weixin_43824060/article/details/104774365

版权

本文介绍了数据分析中的数据质量分析，包括缺失值处理、异常值识别（如3σ原则和箱型图法）以及不一致值和重复数据的检查。此外，还探讨了分布分析，区分定量与定性数据，并通过实例展示了如何分析数据分布特征。

摘要由CSDN通过智能技术生成

1 数据质量分析

数据质量分析的主要任务是检查原始数据中是否存在脏数据。

脏数据包括如下内容：

缺失值
缺失值的处理分为删除存在缺失值的记录、对可能值进行插值处理和不处理
异常值
- 简单统计分析：描述性统计，获取最大最小值等
- 3 $\sigma$ 原则：如果数据服从正态分布，在3 $\sigma$ 原则下，异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值，出现概率为P(| x - $\mu$ |>3 $\sigma$ ) $\leq$0.003
- 箱型图分析：异常值被定义为小于Q_L - 1.5IQR或大于Q_U + 1.5IQR (Q_L：下四分位数Q_U：上四分位数)
不一致的值
重复数据及含有特殊符号（如#、￥、*）的数据`

箱型图分析检测异常值

import  pandas as pd 
catering_sale =  "data/catering_sale.xls"
data = pd.read_excel(catering_sale,index_col="日期")
import  matplotlib.pyplot  as plt 
plt.rcParams['font.sans-serif'] = ["SimHei"] # 正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False # 正常显示负号
plt.figure()
# 画箱型图，直接使用DataFrame方法
p = data