脏数据处理与分析-CSDN博客

本文链接：https://blog.csdn.net/youngbit007/article/details/58643690

脏数据：

缺失值
异常值
不一致值
重复数据以及特殊符号

异常值分析：

简单统计量分析
3倍标准差原则
- 如果数据服从正态分布，在3标准差原则的情况下，异常值被定义为超过三倍标准差的
- 例如

#-*- coding: utf-8 -*-
import pandas as pd

catering_sale = '../data/catering_sale.xls' #餐饮数据
data = pd.read_excel(catering_sale, index_col = u'日期') #读取数据，指定“日期”列为索引列

import matplotlib.pyplot as plt #导入图像库
plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号

plt.figure() #建立图像
p = data.boxplot() #画箱线图，直接使用DataFrame的方法
x = p['fliers'][0].get_xdata() # 'flies'即为异常值的标签
y = p['fliers'][0].get_ydata()
y.sort() #从小到大排序，该方法直接改变原对象

#用annotate添加注释
#其中有些相近的点，注解会出现重叠，难以看清，需要一些技巧来控制。
#以下参数都是经过调试的，需要具体问题具体调试。
for i in range(len(x)): 
  if i>0:
    plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.05 -0.8/(y[i]-y[i-1]),y[i]))
  else:
    plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.08,y[i]))

plt.show() #展示箱线图

这里写图片描述

可以看出865,4000+都属于正常范围，其他属于异常值

沙箱图分析

分布分析

分布分析能解释数据的分布特征和分布类型。对于定量数据，欲了解分布形式是对称的还是非对称的，发现特大或特效的可疑值，可通过绘制频率分布表，频率分布直方图，茎叶图直观的进行观测；对于定性分类数据，可疑用饼图和条形图只管的显示分布情况。

定量数据的分布分析，选择组数和组宽最重要。步骤如下

求极差
决定组距和组数
决定分点
列出频率分布表
绘制频率分布直方图

遵循的原则如下：

各组之间必须互斥
各组必须将所有的数据包含在内
各组的组宽刚好相等
-

数据统计量分析代码

#-*- coding: utf-8 -*-
#餐饮销量数据统计量分析
from __future__ import print_function
import pandas as pd

catering_sale = 'C:/Users/ecaoyng/Desktop/work space/DataMining/shizhan_source/chapter3/chapter3/chapter3/demo/data/catering_sale.xls' #餐饮数据
data = pd.read_excel(catering_sale, index_col = u'日期') #读取数据，指定“日期”列为索引列
data = data[(data[u'销量'] > 400)&(data[u'销量'] < 5000)] #过滤异常数据
statistics = data.describe() #保存基本统计量

statistics.loc['range'] = statistics.loc['max']-statistics.loc['min'] #极差
statistics.loc['var'] = statistics.loc['std']/statistics.loc['mean'] #变异系数
statistics.loc['dis'] = statistics.loc['75%']-statistics.loc['25%'] #四分位数间距

print(statistics)

                销量
count   195.000000
mean   2744.595385
std     424.739407
min     865.000000
25%    2460.600000
50%    2655.900000
75%    3023.200000
max    4065.200000
range  3200.200000
var       0.154755
dis     562.600000

贡献度分析

贡献度分析又称为帕累托分析，原理是帕累托法则，即2/8定律(80%的利润来源于20%的产品)

#-*- coding: utf-8 -*-
#菜品盈利数据 帕累托图
from __future__ import print_function
import pandas as pd

#初始化参数
dish_profit = 'C:/Users/ecaoyng/Desktop/work space/DataMining/shizhan_source/chapter3/chapter3/chapter3/demo/data/catering_dish_profit.xls' #餐饮菜品盈利数据
data = pd.read_excel(dish_profit, index_col = u'菜品名')
data = data[u'盈利'].copy()
data.sort(ascending = False)

import matplotlib.pyplot as plt #导入图像库
plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号

plt.figure()
data.plot(kind='bar')
plt.ylabel(u'盈利（元）')
p = 1.0*data.cumsum()/data.sum()
p.plot(color = 'r', secondary_y = True, style = '-o',linewidth = 2)
plt.annotate(format(p[6], '.4%'), xy = (6, p[6]), xytext=(6*0.9, p[6]*0.9), arrowprops=dict(arrowstyle="->", connectionstyle="arc3,rad=.2")) #添加注释，即85%处的标记。这里包括了指定箭头样式。
plt.ylabel(u'盈利（比例）')
plt.show()

这里写图片描述

相关性分析

绘制散点图或者散点图矩阵

Pearson相关系数
- 一般用于分析两个连续变量之间的关系，要求连续变量的取值服从正态分布
Spearman秩相关系系数
- 不服从正态分布的变量，分类或者等级变量之间的相关性

#-*- coding: utf-8 -*-
#餐饮销量数据相关性分析
from __future__ import print_function
import pandas as pd

catering_sale = 'C:/Users/ecaoyng/Desktop/work space/DataMining/shizhan_source/chapter3/chapter3/chapter3/demo/data/catering_sale_all.xls' #餐饮数据，含有其他属性
data = pd.read_excel(catering_sale, index_col = u'日期') #读取数据，指定“日期”列为索引列

data.corr() #相关系数矩阵，即给出了任意两款菜式之间的相关系数
data.corr()[u'百合酱蒸凤爪'] #只显示“百合酱蒸凤爪”与其他菜式的相关系数
# data[u'百合酱蒸凤爪'].corr(data[u'翡翠蒸香茜饺']) #计算“百合酱蒸凤爪”与“翡翠蒸香茜饺”的相关系数

百合酱蒸凤爪     1.000000
翡翠蒸香茜饺     0.009206
金银蒜汁蒸排骨    0.016799
乐膳真味鸡      0.455638
蜜汁焗餐包      0.098085
生炒菜心       0.308496
铁板酸菜豆腐     0.204898
香煎韭菜饺      0.127448
香煎罗卜糕     -0.090276
原汁原味菜心     0.428316
Name: 百合酱蒸凤爪, dtype: float64

pandas数据统计特征函数：

corr 计算数据样本的spearman（pearson）相关系数矩阵
cov 计算数据样本的协方差

import numpy as np
D=pd.DataFrame(np.random.randn(6,5))
D.cov()