Pandas中的时间序列

一、引题

Q1:现在我们有2015到2017年25万条911的紧急电话的数据，请统计出出这些数据中不同类型的紧急情况的次数

分析：

        方法一：

                先查看数据的信息，确定类型所在的字段，然后切割字段并转化为列表，构造零数组，并将数据类型所对应的列赋值为1，最后求和

# coding = utf-8
import pandas as pd
import numpy as np
from matplotlib import pyplot as plt

df = pd.read_csv("./911.csv")

# print(df.head(1))
#
#
# print(df.info())

# 获取分类
temp_list = df["title"].str.split(":").tolist()

cate_list = list(set([i[0] for i in temp_list]))

print(cate_list)

# 构造零数组
zeros_df = pd.DataFrame(np.zeros((df.shape[0], len(cate_list))), columns=cate_list)

# 赋值
for cate in cate_list:
    zeros_df[cate][df["title"].str.contains(cate)] = 1

sum_ret = zeros_df.sum(axis=0)
print(sum_ret)

方法二：

        对原数据追加一列，然后分组统计

# coding = utf-8
import pandas as pd
import numpy as np
from matplotlib import pyplot as plt

df = pd.read_csv("./911.csv")

# 获取分类
temp_list = df["title"].str.split(":").tolist()

cate_list = [i[0] for i in temp_list]

cate_df = pd.DataFrame(np.array(cate_list).reshape((df.shape[0], 1)), columns=["cate"])

# print(cate_df)
# 添加一列
df["cate"] = cate_df
print(df.groupby(by="cate").count()["title"])

Q2：如果我们还想统计出不同月份不同类型紧急电话的次数的变化情况，应该怎么做呢？

分析：用上述方法二同样可实现该问题求解，但是比较繁琐，而使用时间序列则很简单。下面先简单介绍一下时间序列

二、pandas中的时间序列

        2.1、生成一段时间范围

                date_range(start=None, end=None, periods=None, freq='D')

                参数：start开始时间、end停止时间、periods个数、freq类型

                freq参数表：

 2.2 to_datetime(df["timeStamp"],format="")【将字符串转化为时间序列】

        format一般情况下不用指定，当pandas无法识别时，需手动传入参数，具体格式参照python时间格式化。

2.3 pandas重采样（resample方法）

        重采样：指的是将时间序列从一个频率转化为另一个频率进行处理的过程，将高频率数据转化为低频率数据为降采样，低频率转化为高频率为升采样

2.4解决问题

         1、统计出911数据中不同月份电话次数的变化情况

import numpy as np
import pandas as pd
from matplotlib import pyplot as plt
import matplotlib

df = pd.read_csv("./911.csv")
df["timeStamp"] = pd.to_datetime(df["timeStamp"])
df.set_index("timeStamp", inplace=True)
# print(df.head(2))
count_by_month = df.resample('M').count()["title"]
# print(count_by_month.head(1))

# 画图
_x = count_by_month.index
_y = count_by_month.values
# for i in _x:
#     print(dir(i))
#     break
_x = [i.strftime("%Y%m%d") for i in _x]


plt.figure(figsize=(20, 8), dpi=80)

plt.plot(range(len(_x)), _y)
plt.xticks(range(len(_x)), _x, rotation=45)
plt.show()

 结果

       

         2、统计出911数据中不同月份不同类型的电话的次数的变化情况

                注意：赋值索引要一致

import numpy as np
import pandas as pd
from matplotlib import pyplot as plt
import matplotlib

# 设置中文字体
font = {'family': 'MicroSoft YaHei',
        'weight': 'bold'}

matplotlib.rc("font", **font)

# 把时间字符串转化为实践类型设置为索引
df = pd.read_csv("./911.csv")
df["timeStamp"] = pd.to_datetime(df["timeStamp"])
plt.figure(figsize=(20, 8), dpi=80)

# 添加列，表示分类
temp_list = df["title"].str.split(":").tolist()
cate_list = [i[0] for i in temp_list]
cate_df = pd.DataFrame(np.array(cate_list).reshape((df.shape[0], 1)))
df["cate"] = cate_df
df.set_index("timeStamp", inplace=True)
# 分组
for group_name, group_data in df.groupby(by="cate"):
    count_by_month = group_data.resample('M').count()["title"]
    # 画图
    _x = count_by_month.index
    _y = count_by_month.values
    _x = [i.strftime("%Y%m%d") for i in _x]
    plt.plot(range(len(_x)), _y,label= group_name)



plt.xticks(range(len(_x)), _x, rotation=45)

plt.legend(loc="best")
plt.show()

结果

2.5 PeriodIndex （生成时间段）

        

# coding=utf-8
import pandas as pd
from matplotlib import pyplot as plt

file_path = "./PM2.5/BeijingPM20100101_20151231.csv"

df = pd.read_csv(file_path)

# 把分开的时间字符串通过periodIndex的方法转化为pandas的时间类型
period = pd.PeriodIndex(year=df["year"], month=df["month"], day=df["day"], hour=df["hour"], freq="H")
df["datetime"] = period
# print(df.head(10))

# 把datetime 设置为索引
df.set_index("datetime", inplace=True)

# 进行降采样
df = df.resample("7D").mean()
print(df.head())
# 处理缺失数据，删除缺失数据
# print(df["PM_US Post"])

data = df["PM_US Post"]
data_china = df["PM_Nongzhanguan"]

print(data_china.head(100))
# 画图
_x = data.index
_x = [i.strftime("%Y%m%d") for i in _x]
_x_china = [i.strftime("%Y%m%d") for i in data_china.index]
print(len(_x_china), len(_x_china))
_y = data.values
_y_china = data_china.values

plt.figure(figsize=(20, 8), dpi=80)

plt.plot(range(len(_x)), _y, label="US_POST", alpha=0.7)
plt.plot(range(len(_x_china)), _y_china, label="CN_POST", alpha=0.7)

plt.xticks(range(0, len(_x_china), 10), list(_x_china)[::10], rotation=45)

plt.legend(loc="best")

plt.show()

结果