数据探索
数据质量分析
主要是对缺失值、异常值、不一致的值以及重复数据以及带有特殊符号的数据进行分析。
对数据进行简单的描述
在python中,只需要读取数据,然后再对数据进行describe()函数处理,就能得出数据的基本情况。
import pandas as pd
catering_sale='D:/python学习资料/《Python数据分析与挖掘实战》数据与代码/chapter3/demo/data/catering_sale.xls'
data = pd.read_excel(catering_sale,index_col = u'日期') #读取数据,指定“日期”列为索引列
print (len(data))#展示数据
print (data.describe())#描述数据的基本情况
关于pd.read_excel函数的相关语法结构详细内容:
(https://www.jianshu.com/p/d1eed925509b)
通过describe()可以展示出数据的非空数值、min、max、mean、std、分位数等。
为了展示数据的异常值,可以画出数据的箱型图。
import matplotlib.pyplot as plt
plt.figure() #建立图像
p = data.boxplot(return_type='dict') #画箱线图,直接使用DataFrame的方法
'''
return_type先把数据变成DataFrame,这里是将数据变成字典类型,然后进行相关的运算;
当指定return_type=‘dict’时,其结果值为一个字典,字典索引为固定的’whiskers’、‘caps’、‘boxes’、‘fliers’、‘means’;
'''
x = p['fliers'][0].get_xdata() #'fliers'即为异常值的标签
y = p['fliers'][0].get_ydata() #fliers层表示离散点。使用 P['fliers'][0]获取点坐标,然后get_ydata()获取点纵坐标,get_xdata()是横坐标。
y.sort() #从小到大排序,该方法直接改变原对象
for i in range(len(x)):
if i>0:
plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.05 -0.8/(y[i]-y[i-1]),y[i]))
else:
plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.08,y[i]))
'''
Axes.annotate(s, xy, *args, **kwargs)
s:注释文本的内容
xy:被注释的坐标点,二维元组形如(x,y)
xytext:注释文本的坐标点,也是二维元组,默认与xy相同
xycoords:被注释点的坐标系属性,允许输入的值如下
'''
plt.show() #展示箱线图
统计量的更多信息:极差、标准差、变异系数、四分位数间距等
data = data[(data[u'销量']>400)&data[u'销量']<5000]#过滤异常数据
statistics=data.describe()
statistics