python数据分析(六)——pandas时间序列

上期文章

python数据分析(五)——pandas数据的合并和分组聚合

---

---

pd.head()完全显示文件信息

pd.set_option('display.max_columns', None)

不同类型紧急情况次数

import pandas as pd
import numpy as np
from matplotlib import pyplot as plt

df = pd.read_csv('911.csv')
# pd.set_option('display.max_columns', None)
# print(df.head())

# 获取title分类 EMS、Fire等
temp_list = df["title"].str.split(": ").tolist()
cate_list = list(set([i[0] for i in temp_list]))
print(cate_list)

# 构造全为0的数组
zeros_df = pd.DataFrame(np.zeros((df.shape[0], len(cate_list))), columns=cate_list)

# 方法一 赋值
for cate in cate_list:
    zeros_df[cate][df['title'].str.contains(cate)] = 1
    print(zeros_df)
    break

sum_ret = zeros_df.sum(axis=0)
print(sum_ret)

# 方法二 遍历 运行太慢
# for i in range(df.shape[0]):
#     zeros_df.loc[i, temp_list[i][0]] = 1
#
# print(zeros_df)

# 方法三 groupby 新添加一类紧急情况类型
temp_list = df["title"].str.split(": ").tolist()
cate_list = [i[0] for i in temp_list]
df['cate'] = pd.DataFrame(np.array(cate_list).reshape((df.shape[0], 1)), columns=["cate"])

print(df.groupby(by='cate').count()['title'])

时间序列

start：表示时间开始
end：表示时间结束
periods：表示时间段的个数
freq：表示频率，以天、月为单位

频率缩写

时间序列索引

index = pd.data_range("20170101", period=10)
df = pd.DateFrame(np.random.rand(10), index=index)

时间字符串转化为时间序列

df['timeStamp'] = pd.to_datatime(df["timeStamp"], format="")

format将识别不出来的时间格式化，从而自动转化成时间序列格式，搜索引擎搜索python时间格式化转化

pandas重采样

t.resample("M").mean()
将数据转化成按月频率的格式，可以对其进行取平均值和计数等操作

不同月份电话次数变化情况

import pandas as pd
import numpy as np
from matplotlib import pyplot as plt

df = pd.read_csv('911.csv')

df['timeStamp'] = pd.to_datetime(df['timeStamp'])
df.set_index('timeStamp', inplace=True)

count_by_month = df.resample('M').count()['title']
#
# pd.set_option('display.max_columns', None)
# print(count_by_month.head(5))

_x = count_by_month.index
_y = count_by_month.values

# 格式化时间元组
_x = [i.strftime("%Y-%m-%d") for i in _x]

plt.figure(figsize=(20, 8), dpi=80)

plt.plot(range(len(_x)), _y)
plt.xticks(range(len(_x))[::2], _x[::2], rotation=45)

plt.show()

不同月份不同类型电话次数变化情况

import pandas as pd
import numpy as np
from matplotlib import pyplot as plt

df = pd.read_csv('911.csv')
# 不同月份不同类型电话次数变化情况
# 时间字符串设置为时间类型 设置为索引

# 设置添加列，表示分类
temp_list = df["title"].str.split(": ").tolist()
cate_list = [i[0] for i in temp_list]
df['cate'] = pd.DataFrame(np.array(cate_list).reshape((df.shape[0], 1)))

df["timeStamp"] = pd.to_datetime(df["timeStamp"])
df.set_index("timeStamp", inplace=True)

plt.figure(figsize=(20, 8), dpi=80)
# 分组
for group_name, group_data in df.groupby("cate"):
    count_by_month = group_data.resample('M').count()['title']
    _x = count_by_month.index
    _y = count_by_month.values

    # 格式化时间元组
    _x = [i.strftime("%Y-%m-%d") for i in _x]

    plt.plot(range(len(_x)), _y, label=group_name)


plt.xticks(range(len(_x))[::2], _x[::2], rotation=45)
plt.legend(loc="best")
plt.show()