数据透视表(Pivot Table)是常用的数据汇总工具,可以通过控制数据的排列灵活地进行数据分析,进而挖掘出数据中最有价值的信息。掌握数据透视表,已经成为数据分析从业者必备的一项技能。
在python中我们可以通过pandas.pivot_table函数来实现数据透视表的功能。本篇文章介绍了pandas.pivot_table具体的使用方法,在最后还准备了一个备忘单,希望能够帮助你记住如何使用pandas的pivot_table。
本文结构
1. 实例数据加载及预处理
本文采用kaggle赛题”泰坦尼克号“中的数据,案例背景是,船要沉了,我们根据各种影响因素,判断船上成员的存活率,比如头等舱的人存活率是不是会更高呢?或者女人比男人活下来的概率更高呢?
# 加载数据
import numpy as np
import pandas as pd
import seaborn as sns
df = sns.load_dataset('titanic')
# 删除不重要的列
df.drop(columns =["who","adult_male","deck","embark_town","alive","alone","class"],inplace=True)
# 缺失值处理
df = df[df["embarked"].notnull()]
df["age"].fillna(df["age"].mean(),inplace=True)
# age离散化
df["age"] = pd.cut(df["age"], [0, 18, 90])
df.head()
主要字段的含义如下:
2. 第一个透视表
# 查看不同性别的存活率
table = pd.pivot_table(df, index=["sex"], values="survived")
print(table)
survived
sex
female 0.740385
male 0.188908
可见女性的存活率很高,说明当时船上的男人们还是很绅士的哈哈~~
参数说明:
df是要传入的数据;
index是 Values to group by in the rows,也就是透视表建立时要根据哪些字段进行分组,我们这里只依据性别分组;
values是指对哪些字段进行聚合操作,因为我们只关心不同性别下的存活率情况,所以values只需要传入一个值"survived";
将所有乘客按性别分为男、女两组后,对"survived"字段开始进行聚合,默认的聚合函数是"mean",也就是求每个性别组下所有成员的"survived"的均值,即可分别求出男女两组各自的平均存活率。
3. 添加列索引
# 添加一个列级分组索引:pclass-客票级别,共有1,2,3三个级别,1级别最高。
table = pd.pivot_table(df, index=["sex"], columns=["pclass"], values="survived")
print(table)
pclass 1 2 3
sex
female 0.967391 0.921053 0.500000
male 0.368852 0.157407 0.135447
可以发现,无论是男性还是女性,客票级别越高的,存活率越高。
4. 多级行索引
# 添加一个行级分组索引:pclass-客票级别
table = pd.pivot_table(df, index=["sex","pclass"], values="survived")
print(table)
survived
sex pclass
female 1 0.967391
2 0.921053
3 0.500000
male 1 0.368852
2 0.157407
3 0.135447
添加一个行级索引"pclass"后,现在透视表具有二层行级索引,一层列级索引。仔细观察透视表发现,与上面【3】中的"添加一个列级索引",在分组聚合效果上是一样的,都是将每个性别组中的成员再次按照客票级别划分为3个小组。
不同点就在于,看你是想让表格的行数多一点,还是想让列数多一点~~
5. 多级列索引
# 构造两层列级索引:"pclass"和"age"
table = pd.pivot_table(df, index=["sex"], columns=["pclass","age"], values="survived")
print(table)
pclass 1 2 3
age (0, 18] (18, 90] (0, 18] (18, 90] (0, 18] (18, 90]
sex
female 0.909091 0.975309 1.0 0.903226 0.511628 0.495050
male 0.800000 0.350427 0.6 0.086022 0.215686 0.121622
添加两层列级索引后,分析透视表,可以发现,一级客票的成年女性存活率高达97.5%,存活率最低的是三级客票的未成年男孩。
当然,行索引和列索引都可以再设置为多层,不过,行索引和列索引在本质上是一样的,大家需要根据实际情况合理布局。
6. 添加多个聚合列
# 按客票级别分组,每组对两个列进行聚合:“是否存活”和“船票价”
table = pd.pivot_table(df, index=["pclass"], values=["survived","fare"])
print(table)
fare survived
pclass
1 84.193516 0.626168
2 20.662183 0.472826
3 13.675550 0.242363
可以发现,船票级别越高,票价越高,存活率也越高。。。
需要注意的是,如果不传入values参数,将对除index和columns之外的所有剩余列进行聚合。
# 不传入values参数,剩余的所有列均做聚合(默认是均值聚合)。
table = pd.pivot_table(df, index=["pclass"])
print(table)
# 因为没有指定聚合函数,离散列又不能求均值,因此离散列在下面不会列出。
fare parch sibsp survived
pclass
1 84.193516 0.359813 0.420561 0.626168
2 20.662183 0.380435 0.402174 0.472826
3 13.675550 0.393075 0.615071 0.242363
7. 自定义聚合函数
# 指定聚合函数
table = pd.pivot_table(df, index=["pclass"], values=["survived", "fare"], aggfunc=["mean", sum, "count"])
print(table)
mean sum count
fare survived fare survived fare survived
pclass
1 84.193516 0.626168 18017.4125 134 214 214
2 20.662183 0.472826 3801.8417 87 184 184
3 13.675550 0.242363 6714.6951 119 491 491
聚合函数支持常见的统计函数,如"mean", "sum", count, np.mean, np.std, np.corr等,支持字符串等多种格式。
如果传入参数为list,则每个聚合函数对每个列都进行一次聚合。
如果传入参数为dict,则每个列仅对其指定的函数进行聚合,此时values参数可以不传。
示例如下:
# aggfunc传入字典类型,自定义每个列要适用的聚合函数
table = pd.pivot_table(df, index=["pclass"], aggfunc={"survived": ["mean", sum], "fare": ["count", np.std]})
print(table)
fare survived
count std mean sum
pclass
1 214 78.746457 0.626168 134.0
2 184 13.417399 0.472826 87.0
3 491 11.778142 0.242363 119.0
8. 添加汇总项
# 按行、按列进行汇总,指定汇总列名为“Total”,默认名为“ALL”
table1 = pd.pivot_table(df, index="sex", columns="pclass", values="survived", aggfunc= "count", margins=True, margins_name="Total")
print(table1)
pclass 1 2 3 Total
sex
female 92 76 144 312
male 122 108 347 577
Total 214 184 491 889
9. 保存透视表
数据分析的劳动成果最后当然要保存下来了,我们一般将透视表保存为excel格式的文件,如果需要保存多个透视表,可以添加到多个sheet中进行保存。
save_file = "./titanic_analysis.xlsx"
with pd.ExcelWriter(save_file) as writer:
table.to_excel(writer, sheet_name='汇总-演示', encoding="utf-8")
table1.to_excel(writer, sheet_name='自定义聚合函数-演示', encoding="utf-8")
excel保存格式如下:
10. 备忘单
为了试图总结所有这一切,本文创建了一个备忘单,希望它能够帮助你记住如何使用pandas的pivot_table。
往
期
回
顾
1一文带你了解人工智能:学科介绍、发展史、三大学派 2《机器学习》西瓜书,17个精炼笔记来了!3Matplotlib绘制六种可视化图表,值得收藏
长按扫码可关注
点个在看