Python数据科学库06(pandas)
学习06
练习
1、现在我们有2015到2017年25万条911的紧急电话的数据，请统计出出这些数据中不同类型的紧急情况的次数，如果我们还想统计出不同月份不同类型紧急电话的次数的变化情况，应该怎么做呢？
数据来源：https://www.kaggle.com/mchirico/montcoalert/data
01、请统计出出这些数据中不同类型的紧急情况的次数：
import numpy as np
from matplotlib import pyplot as plt
import pandas as pd
#因为有省略号所以不能显示全,该方法去掉省略号，全部显示
pd.set_option(‘display.max_rows’, None)#显示全部行
pd.set_option(‘display.max_columns’, None)#显示全部列
#在程序开头修改配置字典rcParams, matplotlib的缺省配置文件中所使用的字体无法正确显示中文。为了让图表能正确显示中文，可以有几种解决方案。
from pylab import *
mpl.rcParams[‘font.sans-serif’] = [‘SimHei’] #指定默认字体
mpl.rcParams[‘axes.unicode_minus’] = False #解决保存图像是负号’-'显示为方块的问题
file_path= r’D:\whole_development_of_the_stack_study\RS_Algorithm_Course\为其1年的CV课程\03机器学习-数据科学库\14100_机器学习-数据科学库（HM）\数据分析资料\day06\code\911.csv’
df= pd.read_csv(file_path)
#print(df.head(10))
#print(df.info())
#获取分类情况
#print(df[“title”].str.split(’:’))
temp_list = df[“title”].str.split(’:’).tolist()
print(temp_list[:10:])
cate_list = list(set([i[0] for i in temp_list]))
print(cate_list)
#构造全为0的数组
zeros_df = pd.DataFrame(np.zeros((df.shape[0],len(cate_list))),columns=cate_list)
#赋值方法1,料率高，只遍历三个。
for cate in cate_list:
zeros_df[cate][df[“title”].str.contains(cate)] = 1
#print(zeros_df)
#赋值方法2，效率低，遍历25万个。
#for i in range(df.shape[0]):
#zeros_df.loc[i,temp_list[i][0]] = 1
#print(zeros_df)
#求和
sum_ret = zeros_df.sum(axis=0)
print(sum_ret)
02、如果我们还想统计出不同月份不同类型紧急电话的次数的变化情况：
import numpy as np
from matplotlib import pyplot as plt
import pandas as pd
#因为有省略号所以不能显示全,该方法去掉省略号，全部显示
pd.set_option(‘display.max_rows’, None)#显示全部行
pd.set_option(‘display.max_columns’, None)#显示全部列
#在程序开头修改配置字典rcParams, matplotlib的缺省配置文件中所使用的字体无法正确显示中文。为了让图表能正确显示中文，可以有几种解决方案。
from pylab import *
mpl.rcParams[‘font.sans-serif’] = [‘SimHei’] #指定默认字体
mpl.rcParams[‘axes.unicode_minus’] = False #解决保存图像是负号’-'显示为方块的问题
file_path= r’D:\whole_development_of_the_stack_study\RS_Algorithm_Course\为其1年的CV课程\03机器学习-数据科学库\14100_机器学习-数据科学库（HM）\数据分析资料\day06\code\911.csv’
df= pd.read_csv(file_path)
#获取分类情况
#print(df[“title”].str.split(’:’))
temp_list = df[“title”].str.split(’:’).tolist()
#print(temp_list[:10:])
cate_list = [i[0] for i in temp_list]
#提取出的类型列表
#print(cate_list)
#往df中添加一列
df[‘cate’] = pd.DataFrame(np.array(cate_list).reshape((df.shape[0],1)),columns=[“cate”])
#print(df.head(5))
print(df.groupby(by=“cate”).count()[“title”])
为什么要学习pandas中的时间序列
不管在什么行业，时间序列都是一种非常重要的数据形式，很多统计数据以及数据的规律也都和时间序列有着非常重要的联系。
而且在pandas中处理时间序列是非常简单的
生成一段时间范围
pd.date_range(start=None, end=None, periods=None, freq=‘D’)
start和end以及freq配合能够生成start和end范围内以频率freq的一组时间索引。
start和periods以及freq配合能够生成从start开始的频率为freq的periods个时间索引。
关于频率的更多缩写
在DataFrame中使用时间序列
index=pd.date_range(“20170101”,periods=10)
df = pd.DataFrame(np.random.rand(10),index=index)
回到最开始的911数据的案例中，我们可以使用pandas提供的方法把时间字符串转化为时间序列
df[“timeStamp”] = pd.to_datetime(df[“timeStamp”],format="")
format参数大部分情况下可以不用写，但是对于pandas无法格式化的时间字符串，我们可以使用该参数，比如包含中文
那么问题来了：
我们现在要统计每个月或者每个季度的次数怎么办呢？
pandas重采样
重采样：指的是将时间序列从一个频率转化为另一个频率进行处理的过程，将高频率数据转化为低频率数据为降采样，低频率转化为高频率为升采样。
pandas提供了一个resample的方法来帮助我们实现频率转化
练习：
1、统计出911数据中不同月份电话次数的变化情况：
import pandas as pd
#因为有省略号所以不能显示全,该方法去掉省略号，全部显示
pd.set_option(‘display.max_rows’, None)#显示全部行
pd.set_option(‘display.max_columns’, None)#显示全部列
#在程序开头修改配置字典rcParams, matplotlib的缺省配置文件中所使用的字体无法正确显示中文。为了让图表能正确显示中文，可以有几种解决方案。
from pylab import *
mpl.rcParams[‘font.sans-serif’] = [‘SimHei’] #指定默认字体
mpl.rcParams[‘axes.unicode_minus’] = False #解决保存图像是负号’-'显示为方块的问题
file_path= r’D:\whole_development_of_the_stack_study\RS_Algorithm_Course\为其1年的CV课程\03机器学习-数据科学库\14100_机器学习-数据科学库（HM）\数据分析资料\day06\code\911.csv’
df= pd.read_csv(file_path)
df[“timeStamp”] = pd.to_datetime(df[“timeStamp”])
df.set_index(“timeStamp”,inplace=True)
#print(df.head(5))
#统计出911数据中不同月份电话次数的变化情况
count_by_month = df.resample(“M”).count()[“title”]
print(count_by_month.head())
#画图
_x = count_by_month.index
_y = count_by_month.values
#查看所有方法
#for i in _x:
#print(dir(i))
#break
_x = [i.strftime("%Y%m%d") for i in _x]
plt.figure(figsize=(20,8),dpi=80)
plt.plot(range(len(_x)),_y)
plt.xticks(range(len(_x)),_x,rotation=45)
plt.show()
2、统计出911数据中不同月份不同类型的电话的次数的变化情况
import numpy as np
from matplotlib import pyplot as plt
import pandas as pd
#因为有省略号所以不能显示全,该方法去掉省略号，全部显示
pd.set_option(‘display.max_rows’, None)#显示全部行
pd.set_option(‘display.max_columns’, None)#显示全部列
#在程序开头修改配置字典rcParams, matplotlib的缺省配置文件中所使用的字体无法正确显示中文。为了让图表能正确显示中文，可以有几种解决方案。
from pylab import *
mpl.rcParams[‘font.sans-serif’] = [‘SimHei’] #指定默认字体
mpl.rcParams[‘axes.unicode_minus’] = False #解决保存图像是负号’-'显示为方块的问题
file_path= r’D:\whole_development_of_the_stack_study\RS_Algorithm_Course\为其1年的CV课程\03机器学习-数据科学库\14100_机器学习-数据科学库（HM）\数据分析资料\day06\code\911.csv’
df= pd.read_csv(file_path)
#把时间字符串转为时间类型，并设置为索引
df[“timeStamp”] = pd.to_datetime(df[“timeStamp”])
#获取分类情况
#print(df[“title”].str.split(’:’))
temp_list = df[“title”].str.split(’:’).tolist()
#print(temp_list[:10:])
cate_list = [i[0] for i in temp_list]
#往df中添加一列，表示分组
df[‘cate’] = pd.DataFrame(np.array(cate_list).reshape((df.shape[0],1)),columns=[“cate”])
#重要：需要确保合并的数据索引是一致的，才能进行合并，所以这里再合并后对index进行重新设置。
df.set_index(“timeStamp”,inplace=True)
print(df.head())
plt.figure(figsize=(20, 8), dpi=80)
#分组
#一张图中进行重复画图
for group_name,group_data in df.groupby(by=‘cate’):
#对不同的分类都进行绘图
# 统计出911数据中不同月份电话次数的变化情况
count_by_month = group_data.resample(“M”).count()[“title”]
# 画图
_x = count_by_month.index
_y = count_by_month.values
_x = [i.strftime("%Y%m%d") for i in _x]
plt.plot(range(len(_x)), _y, label=group_name)
plt.xticks(range(len(_x)), _x, rotation=45)
plt.legend(loc=“best”)
plt.show()
PeriodIndex
之前所学习的DatetimeIndex可以理解为时间戳；
那么现在我们要学习的PeriodIndex可以理解为时间段；
periods = pd.PeriodIndex(year=data[“year”],month=data[“month”],day=data[“day”],hour=data[“hour”],freq=“H”)
那么如果给这个时间段降采样呢？
data = df.set_index(periods).resample(“10D”).mean()
练习：
现在我们有北上广、深圳、和沈阳5个城市空气质量数据，请绘制出5个城市的PM2.5随时间的变化情况
观察这组数据中的时间结构，并不是字符串，这个时候我们应该怎么办？
数据来源： https://www.kaggle.com/uciml/pm25-data-for-five-chinese-cities
请绘制出5个城市的PM2.5随时间的变化情况：
import numpy as np
from matplotlib import pyplot as plt
import pandas as pd
#因为有省略号所以不能显示全,该方法去掉省略号，全部显示
pd.set_option(‘display.max_rows’, None) # 显示全部行
pd.set_option(‘display.max_columns’, None) # 显示全部列
#在程序开头修改配置字典rcParams, matplotlib的缺省配置文件中所使用的字体无法正确显示中文。为了让图表能正确显示中文，可以有几种解决方案。
from pylab import *
mpl.rcParams[‘font.sans-serif’] = [‘SimHei’] # 指定默认字体
mpl.rcParams[‘axes.unicode_minus’] = False # 解决保存图像是负号’-'显示为方块的问题
file_path = r’D:\whole_development_of_the_stack_study\RS_Algorithm_Course\为其1年的CV课程\03机器学习-数据科学库\14100_机器学习-数据科学库（HM）\数据分析资料\day06\code\PM2.5\BeijingPM20100101_20151231.csv’
df = pd.read_csv(file_path)
#print(df.head())
#print(df.info())
#把分开的时间字符串通过PeriodIndex的方法转化为pandas的时间类型
period = pd.PeriodIndex(year=df[“year”],month=df[“month”],day=df[“day”],hour=df[“hour”],freq=“H”)
#print(periods)
#print(type(periods))
df[“datetime”] = period
#print(df.head(10))
#把datetime设置为索引
df.set_index(“datetime”,inplace=True)
#进行降采样
#遇到nan时，从采样是不会将nan算进去的
df = df.resample(‘7D’).mean()
print(df.shape)
#处理缺失数据，删除缺失数据
#print(df[“PM_US Post”])
#print(df[“PM_Dongsi”].tail(20))
#print(’*’*100)
#print(df[“PM_US Post”].tail(20))
data = df[“PM_US Post”].dropna()
data_china = df[“PM_Dongsi”].dropna()
#画图
_x = data.index
_x = [i.strftime(’%Y%m%d’) for i in _x]
_x_china = [i.strftime(’%Y%m%d’) for i in data_china.index]
_y = data.values
_y_china = data_china.values
plt.figure(figsize=(20,8),dpi = 80)
plt.plot(range(len(_x)),_y,label=“US_POST”)
plt.plot(range(len(_x_china)),_y_china,label=“CN_POST”)
plt.xticks(range(0,len(_x),10),list(_x)[::10],rotation=45)
plt.legend(loc=“best”)
plt.show()
222
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
