【Python数据分析】1st-数据探索与数据预处理

《Python数据分析与挖掘实战》读书笔记之数据探索与数据预处理

##一、数据探索
Python中用于数据探索的库主要是Pandas（数据分析）和Matplotlib（数据可视化）

###数据分析内容
数据质量分析
: 缺失值分析
: 异常值分析
: 一致性分析

数据特征分析

分布分析

对比分析

统计量分析

周期性分析

贡献度分析

相关性分析

---

###异常值检测代码

#-*- coding: utf-8 -*-

import sys
reload(sys)

sys.setdefaultencoding('utf-8')

import pandas as pd

catering_sale = '../data/catering_sale.xls' #餐饮数据
data = pd.read_excel(catering_sale, index_col = u'日期') #读取数据，指定“日期”列为索引列

import matplotlib.pyplot as plt #导入图像库

plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号
plt.figure() #建立图像
p = data.boxplot(return_type='dict') #画箱线图，直接使用DataFrame的方法
x = p['fliers'][0].get_xdata() # 'flies'即为异常值的标签
y = p['fliers'][0].get_ydata()
y.sort() #从小到大排序，该方法直接改变原对象

for i in range(len(x)): 
  if i>0:
    plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.05 -0.8/(y[i]-y[i-1]),y[i]))
  else:
    plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.08,y[i]))

plt.show() #展示箱线图

运行程序得到箱型图