python笔记1之数据探索

数据探索

数据质量分析

主要是对缺失值、异常值、不一致的值以及重复数据以及带有特殊符号的数据进行分析。

对数据进行简单的描述

在python中，只需要读取数据，然后再对数据进行describe（）函数处理，就能得出数据的基本情况。

import pandas as pd
catering_sale='D:/python学习资料/《Python数据分析与挖掘实战》数据与代码/chapter3/demo/data/catering_sale.xls'
data = pd.read_excel(catering_sale,index_col = u'日期') #读取数据，指定“日期”列为索引列
print (len(data))#展示数据
print (data.describe())#描述数据的基本情况

关于pd.read_excel函数的相关语法结构详细内容：
(https://www.jianshu.com/p/d1eed925509b)
通过describe（）可以展示出数据的非空数值、min、max、mean、std、分位数等。
为了展示数据的异常值，可以画出数据的箱型图。

import matplotlib.pyplot as plt
plt.figure() #建立图像
p = data.boxplot(return_type='dict') #画箱线图，直接使用DataFrame的方法
'''
  return_type先把数据变成DataFrame，这里是将数据变成字典类型，然后进行相关的运算;
  当指定return_type=‘dict’时，其结果值为一个字典，字典索引为固定的’whiskers’、‘caps’、‘boxes’、‘fliers’、‘means’;
'''
x = p['fliers'][0].get_xdata() #'fliers'即为异常值的标签
y = p['fliers'][0].get_ydata() #fliers层表示离散点。使用 P['fliers'][0]获取点坐标，然后get_ydata()获取点纵坐标，get_xdata()是横坐标。
y.sort() #从小到大排序，该方法直接改变原对象
for i in range(len(x)):
  if i>0:
    plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.05 -0.8/(y[i]-y[i-1]),y[i]))
  else:
    plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.08,y[i]))
    '''
   Axes.annotate(s, xy, *args, **kwargs)
    s：注释文本的内容
    xy：被注释的坐标点，二维元组形如(x,y)
    xytext：注释文本的坐标点，也是二维元组，默认与xy相同
    xycoords：被注释点的坐标系属性，允许输入的值如下
    '''
plt.show() #展示箱线图

关于annotates注释的详细内容

统计量的更多信息：极差、标准差、变异系数、四分位数间距等

data = data[(data[u'销量']>400)&data[u'销量']<5000]#过滤异常数据
statistics=data.describe()
statistics.loc[