Part 19:Pandas使用stack和pivot实现数据透视

Pandas的stack和pivot实现数据透视

将列式数据变成二维交叉形式，便于分析，叫做重塑或透视

1.经过统计得到多维度指标数据

2.使用unstack实现数据二维透视

3.使用pivot简化透视

4.stack、unstack、pivot的语法

1.经过统计得到多维度指标数据

非常场景的统计场景，指定多个维度，计算聚合后的指标

实例:统计得到"电影评分数据集”，每个月份的每个分数被评分多少次:(月份、分数1~5、次数)

import pandas as pd
import numpy as np
%matplotlib inline

df=pd.read_csv(
    './datas/movielens-1m/ratings.dat',
    sep='::',
    engine='python',
    names='UserID::MovieID::Rating::Timestamp'.split('::')
    
)
df.head()

df['pdata']=pd.to_datetime(df['Timestamp'],unit='s')
df.head()

 

 

df.dtypes

#实现数据统计
df_group=df.groupby([df['pdata'].dt.month,'Rating'])['UserID'].agg(pv=np.sum)
df_group.head()

 

对于这样的格式数据，查看按月份，不同评分的次数趋势，是没法实现的

需要将数据变换成每个评分是一列才可以实现

2.使用unstack实现数据二维透视

目的:想要画图对比按照月份的不同评分的数量趋势

df_stack=df_group.unstack()
df_stack

 

df_stack.plot()

 

#unstack和stack是互逆操作
df_stack.stack().head()

 3、使用pivot简化透视

df_group.head()

df_reset=df_group.reset_index()
df_reset.head()

#因为是二维的---pdata代表x轴，Rating代表y轴，pv代表数据
df_pivot=df_reset.pivot('pdata','Rating','pv')
df_pivot.head()

 

df_pivot.plot()

 

pivot方法相当于对df使用set_index的创建分层索引，然后调用unstack¶

4.stack、unstack、pivot的语法

stack: DataFrame.stack(level=-1, dropna=True)，将column变成index，类似把横放的书籍变成竖放

level=-1代表多层索引的最内层，可以通过==0、1、2指定多层索引的对应层

 

 

unstack: DataFrame.unstack(level=-1, fill_value=None)，将index变成column，类似把竖放的书籍变成横放

pivot: DataFrame.pivot(index=None , columns=None, values=None)，指定index、columns、values实现二维透视¶