统计次数案例+pandas中的时间序列

现在我们有2015到2017年25万条911的紧急电话的数据，请统计出出这些数据中不同类型的紧急情况的次数，如果我们还想统计出不同月份不同类型紧急电话的次数的变化情况，应该怎么做呢？

数据来源：https://www.kaggle.com/mchirico/montcoalert/data
**

统计出这些数据中不同类型的紧急情况的次数，

**

import pandas as pd
import numpy as np
from matplotlib import pyplot as plt
file_path='C:/Users/ming/Desktop/DataAnalysis-master/day06/code/911.csv'
df=pd.read_csv(file_path)
# print(df.info())
# # 显示所以的列
# pd.set_option('display.max_columns', None)
# print(df.head(10))

# 获取分类
# print(df['title'].str.split(': '))
temp_list=df['title'].str.split(': ').tolist()
# print(temp_list)
cate_list=list(set(i[0] for i in temp_list))
print(cate_list)
# 构造全为0的数组
zeros_df=pd.DataFrame(np.zeros((df.shape[0],len(cate_list))),columns=cate_list)
# 赋值
for cate in cate_list:
    zeros_df[cate][df['title'].str.contains(cate)]=1
# print(zeros_df)
# for i in range(df.shape[0]):
#     zeros_df.loc[i,temp_list[i][0]]=1
# print(zeros_df)

sum_ret=zeros_df.sum(axis=0)
print(sum_ret)

法2

# coding=utf-8
import pandas as pd
import numpy as np
from matplotlib import pyplot as plt


df = pd.read_csv("./911.csv")

print(df.head(5))
#获取分类
# print()df["title"].str.split(": ")
temp_list = df["title"].str.split(": ").tolist()
cate_list = [i[0] for i in temp_list]
# 多建立cate这一列
df["cate"] = pd.DataFrame(np.array(cate_list).reshape((df.shape[0],1)))

# print(df.head(5))
print(df.groupby(by="cate").count()["title"])

pandas中的时间序列

生成一段时间范围

pd.date_range(start=None, end=None, periods=None, freq='D')

start和end以及freq配合能够生成start和end范围内以频率freq的一组时间索引
start和periods以及freq配合能够生成从start开始的频率为freq的periods个时间索引

关于频率的更多缩写

在DataFrame中使用时间序列

index=pd.date_range("20170101",periods=10)
df = pd.DataFrame(np.random.rand(10),index=index)


# 回到最开始的911数据的案例中，我们可以使用pandas提供的方法把时间字符串转化为时间序列

df["timeStamp"] = pd.to_datetime(df["timeStamp"],format="")

# format参数大部分情况下可以不用写，但是对于pandas无法格式化的时间字符串，我们可以使用该参数，比如包含中文

pandas重采样

重采样：指的是将时间序列从一个频率转化为另一个频率进行处理的过程，将高频率数据转化为低频率数据为降采样，低频率转化为高频率为升采样

pandas提供了一个resample的方法来帮助我们实现频率转化

统计出911数据中不同月份电话次数的变化情况

# coding=utf-8
import pandas as pd
import numpy as np
from matplotlib import pyplot as plt


df = pd.read_csv("C:/Users/ming/Desktop/DataAnalysis-master/day06/code/911.csv")

# 获取指定的时间和日期
df["timeStamp"] = pd.to_datetime(df["timeStamp"])

# inplace:将结果返回为原变量
df.set_index("timeStamp",inplace=True)
# # # 显示所以的列
# pd.set_option('display.max_columns', None)
# print(df.head(5))


# #统计出911数据中不同月份电话次数的
count_by_month = df.resample("M").count()["title"]
print(count_by_month)

#画图
_x = count_by_month.index
_y = count_by_month.values

# for i in _x:
#     print(dir(i))
#     break
# 原例子是2015-12-10 17:10:52，strftime("%Y%m%d")分割只显示年月日
_x = [i.strftime("%Y%m%d") for i in _x]

plt.figure(figsize=(20,8),dpi=80)

plt.plot(range(len(_x)),_y)

plt.xticks(range(len(_x)),_x,rotation=45)

plt.show()

统计出911数据中不同月份不同类型的电话的次数的变化情况

# coding=utf-8
#911数据中不同月份不同类型的电话的次数的变化情况
import pandas as pd
import numpy as np
from matplotlib import pyplot as plt

#把时间字符串转为时间类型设置为索引
df = pd.read_csv("./911.csv")
df["timeStamp"] = pd.to_datetime(df["timeStamp"])

#添加列，表示分类
temp_list = df["title"].str.split(": ").tolist()
cate_list = [i[0] for i in temp_list]
# print(np.array(cate_list).reshape((df.shape[0],1)))
df["cate"] = pd.DataFrame(np.array(cate_list).reshape((df.shape[0],1)))

# 先分类再添加新的索引
df.set_index("timeStamp",inplace=True)

# print(df.head(1))

plt.figure(figsize=(10, 6), dpi=80)

#分组
for group_name,group_data in df.groupby(by="cate"):

    #对不同的分类都进行绘图
    count_by_month = group_data.resample("M").count()["title"]

    # 画图
    _x = count_by_month.index
    print(_x)
    _y = count_by_month.values

    _x = [i.strftime("%Y%m%d") for i in _x]

    plt.plot(range(len(_x)), _y, label=group_name)


plt.xticks(range(len(_x)), _x, rotation=45)
plt.legend(loc="best")
plt.show()