目录
import numpy as np
import pandas as pd
df = pd.read_csv('data/table.csv')
df.head()
一、透视表
1. pivot
一般状态下,数据在DataFrame会以压缩(stacked)状态存放,例如下面的Gender,两个类别被叠在一列中,pivot函数可将某一列作为新的cols:
df.pivot(index='ID',columns='Gender',values='Height').head()
然而pivot函数具有很强的局限性,除了功能上较少之外,还不允许values中出现重复的行列索引对(pair),例如下面的语句就会报错
因此,更多的时候会选择使用强大的pivot_table函数
df.pivot(index='School',columns='Gender',values='Height').head()
#ValueError: Index contains duplicate entries, cannot reshape
2. pivot_table
于功由能更多,速度上比不上原来的pivot函数
Pandas中提供了各种选项,其常用参数如下:
(1)aggfunc:对组内进行聚合统计,可传入各类函数,默认为’mean’
pd.pivot_table(df,index='School',columns='Gender',\
values='Height',aggfunc=['mean','sum']).head()
#传入mean和sum函数,对F,M分别求平均,求和
(2)margins:汇总边际状态
pd.pivot_table(df,index='School',columns='Gender',\
values='Height',aggfunc=['mean','sum'],margins=True).head()
#margins_name可以设置名字,默认为'All'
(3)行、列、值都可以为多级
pd.pivot_table(df,index=['School','Class'],#行两级
columns=['Gender','Address'],#列两级
values=['Height','Weight'])#值两级
3. crosstab(交叉表)
交叉表是一种特殊的透视表,典型的用途如分组统计,如现在想要统计关于街道和性别分组的频数
pd.crosstab(index=df['Address'],columns=df['Gender'])
交叉表的功能也很强大(但目前还不支持多级分组),其重要参数如下:
(1) values和aggfunc:分组对某些数据进行聚合操作,
这两个参数必须成对出现
pd.crosstab(index=df['Address'],columns=df['Gender'],
values=np.random.randint(1,20,df.shape[0]),\
aggfunc='min')
#默认参数等于如下方法:
#pd.crosstab(index=df['Address'],columns=df['Gender'],\
#values=1,aggfunc='count')
(2)normalize参数,可选’all’,‘index’,'columns’参数值
pd.crosstab(index=df['Address'],\
columns=df['Gender'],normalize='all',margins=True)
二、其他变形方法
1. melt
melt函数可以认为是pivot函数的逆操作,将unstacked状态的数据,
压缩成stacked,使“宽”的DataFrame变“窄”
df_m = df[['ID','Gender','Math']]
df_m.head()
df.pivot(index='ID',columns='Gender',values='Math').head()
melt函数中的id_vars表示需要保留的列,value_vars表示需要stack的
一组列
pivoted = df.pivot(index='ID',columns='Gender',values='Math')
result = pivoted.reset_index().melt(id_vars=['ID'],\
value_vars=['F','M'],value_name='Math')\
.dropna().set_index('ID').sort_index()
#检验是否与展开前的df相同,可以分别将这些链式方法的中间步骤展开,
#看看是什么结果
result.equals(df_m.set_index('ID'))
2. 压缩与展开
(1)stack:这是最基础的变形函数,总共只有两个参数:level和dropna
df_s = pd.pivot_table(df,index=['Class','ID'],columns='Gender',\
values=['Height','Weight'])
df_s.groupby('Class').head(2)
df_stacked = df_s.stack()#df_s.stack(level=-1, dropna=True)
df_stacked.groupby('Class').head(2)
#stack函数可以看做将横向的索引放到纵向,因此功能类似与melt,
#参数level可指定变化的列索引是哪一层(或哪几层,需要列表)
df_stacked = df_s.stack(0)
df_stacked.groupby('Class').head(2)
(2) unstack:stack的逆函数,功能上类似于pivot_table
df_stacked.head()
result = df_stacked.unstack().swaplevel(1,0,axis=1).\
sort_index(axis=1)
result.equals(df_s)
#同样在unstack中可以指定level参数
三、哑变量与因子化
1. Dummy Variable(哑变量)
get_dummies函数,其功能主要是进行one-hot编码
df_d = df[['Class','Gender','Weight']]
df_d.head()
将上面的表格前两列转化为哑变量,并加入第三列Weight数值
pd.get_dummies(df_d[['Class','Gender']]).\
join(df_d['Weight']).head()
#可选prefix参数添加前缀,prefix_sep添加分隔符
2. factorize方法
该方法主要用于自然数编码,并且缺失值会被记做-1,
其中sort参数表示是否排序后赋值
codes, uniques = pd.factorize(['b', None, 'a', 'c', 'b'], \
sort=True)
display(codes)
display(uniques)
声明:本文主要参考Datawhale主办的一期Joyful-Pandas资料