第五章 变形
学习时间:
12月26日-12月27日
学习内容:
一、长宽表的变形
长表和宽表的理解:
- 一个表中把性别存储在某一个列中,那么它就是关于性别的长表;
- 如果把性别作为列名,列中的元素是某一其他的相关特征数值,那么这个表是关于性别的宽表。
1. pivot
pivot 是一种典型的长表变宽表的函数
长表变宽表的三要素:
- 分别是变形后的行索引—— index
- 需要转到列索引的列——columns
- 这些列和行索引对应的数值—— values
参考一张图:
注意:
利用 pivot 进行变形操作需要满足唯一性的要求,即由于在新表中的行列索引对应了唯一的 value ,因此原表中的 index 和 columns 对应两个列的行组合必须唯一。
pandas 从 1.1.0 开始, pivot 相关的三个参数允许被设置为列表,这也意味着会返回多级索引。
要把测试类型和科目联合组成的四个类别(期中语文、期末语文、期中数学、期末数学)转到列索引,并且同时统计成绩和排名:
pivot_multi = df.pivot(index = ['Class', 'Name'],
columns = ['Subject','Examination'],
values = ['Grade','rank'])
2. pivot_table
pivot 的使用依赖于唯一性条件,那如果不满足唯一性条件,那么必须通过聚合操作使得相同行列组合对应的多个值变为一个值。
pandas 中提供了 pivot_table 来实现,其中的 aggfunc 参数就是使用的聚合函数。
例如,张三和李四都参加了两次语文考试和数学考试,按照学院规定,最后的成绩是两次考试分数的平均值
pivot_table 具有边际汇总的功能,可以通过设置 margins=True 来实现
3. melt
可以通过相应的逆操作把宽表转为长表
主要压缩过程如下:
4. wide_to_long
想要把 values_name 对应的 Grade 扩充为两列分别对应语文分数和数学分数,只把期中期末的信息压缩,这种需求下就要使用 wide_to_long 函数来完成。
二、索引的变形
1. stack与unstack
unstack 函数的作用是把行索引转为列索引
stack 的作用就是把列索引的层压入行索引
unstack 的主要参数是移动的层号,默认转化最内层,移动到列索引的最内层,同时支持同时转化多个层
2. 聚合与变形的关系
除了带有聚合效果的 pivot_table 以外,所有的函数在变形前后并不会带来 values 个数的改变,只是这些值在呈现的形式上发生了变化。
三、其他变形函数
1. crosstab
crosstab 可以统计元素组合出现的频数,即 count 操作
crosstab 并不是一个值得推荐使用的函数,因为它能实现的所有功能 pivot_table 都能完成,并且速度更快。
2. explode
explode 参数能够对某一列的元素进行纵向的展开,被展开的单元格必须存储 list, tuple, Series, np.ndarray 中的一种类型。
3. get_dummies
get_dummies 作用是把类别特征转为指示变量