Pandas 二十：stack和pivot实现数据透视

1.经过统计得到多维度指标数据
2.使用unstack实现数据二维透视
3.使用pivot简化透视
4.stack、unstack、pivot的语法

1. 经过统计得到多维度指标数据

非常常见的统计场景，指定多个维度，计算聚合后的指标
实例：统计得到“电影评分数据集”，每个月份的每个分数被评分多少次：（月份、分数1~5、次数）

1

import pandas as pd
import numpy as np
%matplotlib inline
No output

2

df = pd.read_csv(
    "./datas/movielens-1m/ratings.dat",
    header=None,
    names="UserID::MovieID::Rating::Timestamp".split("::"),
    sep="::",
    engine="python"
)
No output

3

df.head()

3

UserID	MovieID	Rating	Timestamp
0	1	1193	5	978300760
1	1	661	3	978302109
2	1	914	3	978301968
3	1	3408	4	978300275
4	1	2355	5	978824291

4

df["pdate"] = pd.to_datetime(df["Timestamp"], unit='s')
No output

5

df.head()

5

UserID	MovieID	Rating	Timestamp	pdate
0	1	1193	5	978300760	2000-12-31 22:12:40
1	1	661	3	978302109	2000-12-31 22:35:09
2	1	914	3	978301968	2000-12-31 22:32:48
3	1	3408	4	978300275	2000-12-31 22:04:35
4	1	2355	5	978824291	2001-01-06 23:38:11

6

df.dtypes

6

UserID                int64
MovieID               int64
Rating                int64
Timestamp             int64
pdate        datetime64[ns]
dtype: object

19

# 实现数据统计
df_group = df.groupby([df["pdate"].dt.month, "Rating"])["UserID"].agg(pv=np.size)
No output

20

df_group.head(20)

20

对这样格式的数据，我想查看按月份，不同评分的次数趋势，是没法实现的

需要将数据变换成每个评分是一列才可以实现

2. 使用unstack实现数据二维透视

目的：想要画图对比按照月份的不同评分的数量趋势

21

df_stack = df_group.unstack()
df_stack

21

22

df_stack.plot()

22

23

# unstack和stack是互逆操作
df_stack.stack().head(20)

23

3. 使用pivot简化透视

24

df_group.head(20)

24

25

df_reset = df_group.reset_index()
df_reset.head()

25

  pdate Rating	pv
0	1	1		1127
1	1	2		2608
2	1	3		6442
3	1	4		8400
4	1	5		4495

26

df_pivot = df_reset.pivot("pdate", "Rating", "pv")

27

df_pivot.head()

27

28

df_pivot.plot()

28

pivot方法相当于对df使用set_index创建分层索引，然后调用unstack

4. stack、unstack、pivot的语法

stack：DataFrame.stack(level=-1, dropna=True)，将column变成index，类似把横放的书籍变成竖放

level=-1代表多层索引的最内层，可以通过==0、1、2指定多层索引的对应层

unstack：DataFrame.unstack(level=-1, fill_value=None)，将index变成column，类似把竖放的书籍变成横放

pivot：DataFrame.pivot(index=None, columns=None, values=None)，指定index、columns、values实现二维透视