数据分析案例及注意事项

数据来源

• kaggle数据平台

注意点

• 难点在于添加新的一列数组，可大大节省数据的读取时间。
• 分组后的类型是可迭代类型，可使用for.in循环遍历。遍历的每一个对象是一个元组(分组对象，内容)
• 在设置时间索引时，需考虑添加数组时索引是否对应，例如设置时间索引在添加类型数组之前会报错，既保证设置时间索引在添加数组之后
• 使用plt.plot()函数绘制图形时，不可放在函数内。保证在一张图上显示所有数据对比。
• 设置x轴数值时，需要在保证所需数据的变量为全局变量。
• x轴数据显示重叠时，设置rotation参数使x轴数据旋转
• 可使用以下方法显示所有提取数据

pd.set_option('display.max_columns', 1000)
pd.set_option('display.width', 1000)
pd.set_option('display.max_colwidth', 1000)

需求

• 得到csv文件数据不同月份不同类型的电话次数变化情况，并可视化。

模块准备

import pandas as pd
import numpy as np
from matplotlib import pyplot as plt

实现过程

• 提取数据
  df = pd.read_csv("./911.csv")
• 使用df.info()查看所需数据的列索引
• 提取类型。

  temp_list = df["title"].str.split(": ").tolist()
  cate_list = [i[0] for i in temp_list]
  

• 对提取到的类型构造多行一列添加到DateFrame数组中
  df["cate"] = pd.DataFrame(np.array(cate_list).reshape((df.shape[0],1)))
• 对月份数据进行操作，变成能够索引的类型
  • 使用方法
    • df["timeStamp"] = pd.to_datetime(df["timeStamp"])# 将数据类型转化为datatimeindex类型，并从新赋值到timeStamp索引
  • 建立索引
    df.set_index("timeStamp",inplace=True) # 需要修改inplace默认值为True进行原地修改
• 对类型进行分组分别绘制折线图，定义绘制图形函数 plot_img

def plot_img(group_data,group_name):
    count_by_month = group_data.resample("M").count()["title"]
    _x = count_by_month.index
    _x = [i.strftime("%Y%m%d") for i in _x]
    _y = count_by_month.values
    plt.plot(range(len(_x)),_y,label=group_name)
    plt.xticks(range(len(_x)),_x,rotation=45)

for group_name,group_data in df.groupby(by="cate"):
    plot_img(group_data,group_name)

• 保存图片

plt.legend(loc="best")
plt.savefig("数据对比图.jpg")

• 效果图