数据挖掘导论实验二（三维趋势图，饼图，密度图，特征散布图，调和曲线图）

第一部分

商店数据来自天池口碑商家客流量预测比赛，这里只筛选了一部分数据。“shop_payNum_new.csv”的数据各个字段的含义如下表所示：

绘制所有便利店的10月的客流量折线图

数据探索

我们首先导入数据，看看数据的情况如何

import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
import warnings
import random
import pylab as mpl
mpl.rcParams['font.sans-serif'] = ['FangSong']  # 指定默认字体
mpl.rcParams['axes.unicode_minus'] = False  # 解决保存图像是负号'-'显示为方块的问题
warnings.filterwarnings('ignore')
data_shop=pd.read_csv('dataset/shop_payNum_new.csv')
data_shop

接着，我们采用字符串分割的方法得到所有十月份的数据，并且按照便利店的id进行group分组，然后我们计算并绘制每个商家的数据所含日期数

# 提取出十月份的数据
data_sep=data_shop[data_shop['time_stamp'].str.split('-',expand=True)[1]=='10']
# 按商家id分组
shop_list=list(data_sep.groupby('shop_id'))
xvalues=list(range(41))
plt.figure(figsize=[16,8])
plt.xlabel('商家')
plt.xticks(range(len(xvalues)),xvalues)
plt.ylabel('商家的日期数据数')
plt.title('商家的数据缺失情况')
plt.plot(np.array([shop_list[i][1].shape[0] for i in range(len(shop_list))]))

通过下图我们可以发现，很多的商家是有数据缺失的，我们考虑用0值填充

残缺值处理

由于部分便利店的数据有缺失（某些日期的数据缺失），我们首先生成一个datestamp数据，然后将其转化为dataframe，并与原数据进行merge，最后用0值对数据进行填充，在完成数据的填充之后，我们再次绘图查看数据情况

def fix_df(df,T_df):
    df['time_stamp']=df['time_stamp'].astype('datetime64')
    df=df.merge(T_df,how='right',sort=True)
    df.fillna(0,inplace=True)
    return df
# 将元组转换为list
shop_list=[list(shop_list[i]) for i in range(len(shop_list))]

t_index = pd.date_range('2016-10-01', '2016-10-31', freq='D')
T_df=pd.DataFrame(t_index,columns=['time_stamp'])
# 处理残缺值
for i in range(len(shop_list)):
    if shop_list[i][1].shape[0]!=31:
        shop_list[i][1]=fix_df(shop_list[i][1],T_df)
xvalues=list(