python数据质量分析小例子

最新推荐文章于 2024-07-21 22:45:48 发布

谁用了尧哥这个昵称

最新推荐文章于 2024-07-21 22:45:48 发布

阅读量6.3k

点赞数 3

分类专栏： AI 文章标签： python 数据

本文链接：https://blog.csdn.net/xuyaoqiaoyaoge/article/details/52597535

版权

本文提供了Python进行数据质量分析的一个小例子，通过分析数据找出超出正常范围的异常值。在案例中，数据上下界被定义为400至5000，异常值包括低于400和高于5000的数值。通过分析，确定了符合业务逻辑的有效数据范围。

摘要由CSDN通过智能技术生成

数据和代码下载地址：
http://pan.baidu.com/s/1kVg3KuN

#-*- coding: utf-8 -*-
import pandas as pd
catering_sale = 'E:/PythonMaterial/chapter3/chapter3/demo/data/catering_sale.xls' #餐饮数据
#因为是xls文件，所以用read_excel方法,返回值是pandas的DataFrame类型
data = pd.read_excel(catering_sale, index_col = u'日期') #读取数据，指定“日期”列为索引列
#DataFrame类型有describe函数
print data.describe()#可以查看数据的基本情况，要加个print，不然不显示，因为数据有空值，所以结果会出现NAN
print len(data)#行数
print data.isnull()#看到空值，是空值的就标出true
dd=data.dropna()#去掉空值的行，原来的data不变
print dd.describe()#发现去掉空行后，原始文件并没有变化

import matplotlib.pyplot as plt #导入图像库
plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号

plt.figure() #建立图像
p = data.boxplot() #画箱线图，直接使用DataFrame的方法
x = p['fliers'][0].get_xdata() # 'flies'即为异常值的标签
y = p['fliers'][0].get_ydata()
y.sort() #从小到大排序，该方法直接改变原对象

#用annotate添加注释
#其中有些相近的点，注解会出现重叠，难以看清，需要一些技巧来控制。
#以下参数都是经过调试的，需要具体问题具体调试。
for i in range(len(x)): 
  if i>0:
    plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.05 -0.8/(y[i]-y[i-1]),y[i]))
  else:
    plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.08,y[i]))

plt.show() #展示箱线图

                销量
count   200.000000
mean   2755.214700
std     751.029772
min      22.000000
25%            NaN
50%            NaN
75%            NaN
max    9106.440000
201
               销量
日期               
2015-03-01