pandas-变形

最新推荐文章于 2022-05-27 17:53:58 发布

不定期更新的Melicai

最新推荐文章于 2022-05-27 17:53:58 发布

阅读量318

点赞数

文章标签： python

本文链接：https://blog.csdn.net/FeiHuoCai/article/details/105819347

版权

文章目录

- 变形

变形

首先加载出需要使用的数据

import numpy as np
import pandas as pd
df = pd.read_csv('C:/Users/Kingfish/Desktop/joyful-pandas-master/joyful-pandas-master/data/table.csv')
df.head()

在这里插入图片描述

一、透视表

透视表是一种可以对数据动态排布并且分类汇总的表格格式。透视表的灵活性高，可以清晰明了的展示数据的逻辑，是一种比较常用的利器。
在pandas中有pivot和pivot_table可以完成该需求操作。一般状态下，数据在DataFrame会以压缩（stacked）状态存放，例如上面的Gender，两个类别被叠在一列中，pivot函数可将某一列作为新的cols，然而pivot函数具有很强的局限性，除了功能上较少之外，还不允许values中出现重复的行列索引对（pair）。因此，更多的时候会选择使用强大的pivot_table函数。但由于功能更多，pivot_table函数速度上自然是比不上原来的pivot函数。

1. pivot

df.pivot(index='ID',columns='Gender',values='Height').head()
#pivot()将Gender拆分出来分别作为单独的列

在这里插入图片描述

df.pivot(index='School',columns='Gender',values='Height').head()
#会报错，因为pivot()不允许values中出现重复的行列索引对（pair）

2. pivot_table

pd.pivot_table(df,index='ID',columns='Gender',values='Height').head()
#pivot_table()函数可以和pivot()函数一样达到相同效果
#由于功能更多，速度上自然是比不上原来的pivot函数
%timeit df.pivot(index='ID',columns='Gender',values='Height')
%timeit pd.pivot_table(df,index='ID',columns='Gender',values='Height')
#2.28 ms ± 74.8 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
#9.77 ms ± 498 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

Pandas中提供了各种选项，以及多个参数，index行、columns列、values值都可以为多级。
Index：每个pivot_table必须拥有一个index,Index就是层次字段，要通过透视表获取什么信息就按照相应的顺序设置字段。
Values：可以对需要的计算数据进行筛选。
Columns:类似Index可以设置列层次字段，它不是一个必要参数，作为一种分割数据的可选方式。
aggfunc：对组内进行聚合统计，可传入各类函数，默认为’mean’
margins：汇总边际状态
fill_value：填充空值

pd.pivot_table(df,index='School',columns='Gender',values='Height',aggfunc=['mean','sum']).head()

在这里插入图片描述

pd.pivot_table(df,index='School',columns='Gender',values='Height',aggfunc=['mean','sum'],margins=True).head()
#margins_name可以设置，默认为'All'

在这里插入图片描述

pd.pivot_table(df,index=['School','Class'],
               columns=['Gender','Address'],
               values=['Height','Weight'])

在这里插入图片描述

3. crosstab（交叉表）

crosstab交叉表是一种特殊的透视表，功能也很强大（但目前还不支持多级分组）。典型的用途如分组统计，如现在想要统计关于街道和性别分组的频数：

pd.crosstab(index=df['Address'],columns=df['Gender'])

在这里插入图片描述
交叉表中常用参数：
① values和aggfunc：分组对某些数据进行聚合操作，这两个参数必须成对出现
② 除了边际参数margins外，还引入了normalize参数，可选’all’,‘index’,'columns’参数值

pd.crosstab(index=df['Address'],columns=df['Gender'],
            values=np.random.randint(1,20,df.shape[0]),aggfunc='min')
#默认参数等于如下方法：
#pd.crosstab(index=df['Address'],columns=df['Gender'],values=1,aggfunc='count')
pd.crosstab(index=df['Address'],columns=df['Gender'],values=1,aggfunc='count')

normalize参数，可选’all’,‘index’,'columns’参数值

pd.crosstab(index=df['Address'],columns=df['Gender'],normalize='all',margins=True)

在这里插入图片描述

二、其他变形方法

melt函数可以认为是pivot函数的逆操作，将unstacked状态的数据，压缩成stacked，使“宽”的DataFrame变“窄”。

1. melt

melt函数中的id_vars表示需要保留的列，value_vars表示需要stack的一组列

df_m = df[['ID','Gender','Math']]
df_m.head()
df.pivot(index='ID',columns='Gender',values='Math').head()
pivoted = df.pivot(index='ID',columns='Gender',values='Math')
result = pivoted.reset_index().melt(id_vars=['ID'],value_vars=['F','M'],value_name='Math')\
                     .dropna().set_index('ID').sort_index()
#检验是否与展开前的df相同，可以分别将这些链式方法的中间步骤展开，看看是什么结果
result.equals(df_m.set_index('ID'))

2. 压缩stack与展开unstack

stack是最基础的变形函数，总共只有两个参数：level和dropna。
stack函数可以看做将横向的索引放到纵向，因此功能类似与melt，参数level可指定变化的列索引是哪一层（或哪几层，需要列表）。 unstack是stack的逆函数，功能上类似于pivot_table

df_s = pd.pivot_table(df,index=['Class','ID'],columns='Gender',values=['Height','Weight'])
df_s.groupby('Class').head(2)

在这里插入图片描述

df_stacked = df_s.stack()#将透视表压缩
df_stacked.groupby('Class').head(2)

在这里插入图片描述
stack函数可以看做将横向的索引放到纵向，因此功能类似melt，参数level可指定变化的列索引是哪一层（或哪几层，需要列表）

df_stacked = df_s.stack(0)
df_stacked.groupby('Class').head(2)

unstack：stack的逆函数，功能上类似于pivot_table

result = df_stacked.unstack().swaplevel(1,0,axis=1).sort_index(axis=1)
#unstack中可以指定level参数

三、哑变量与因子化

1. Dummy Variable（哑变量）

这里主要介绍get_dummies函数，其功能主要是进行one-hot编码

pd.get_dummies(df_d[['Class','Gender']]).join(df_d['Weight']).head()
#将Class、Gender变为哑变量，并加入第三列Weight数值
#可选prefix参数添加前缀，prefix_sep添加分隔符

在这里插入图片描述

2. factorize方法

该方法主要用于自然数编码，并且缺失值会被记做-1，其中sort参数表示是否排序后赋值

codes, uniques = pd.factorize(['b', None, 'a', 'c', 'b'], sort=True)
display(codes)
display(uniques)

四、练习

所用数据集

df=pd.read_csv('C:/Users/Kingfish/Desktop/joyful-pandas-master/joyful-pandas-master/data/Drugs.csv',index_col=['State','COUNTY'])
df.head()

在这里插入图片描述
（a）现在请你将数据表转化成如下形态，每行需要显示每种药物在每个地区的10年至17年的变化情况，且前三列需要排序：

在这里插入图片描述

df_p=pd.pivot_table(df,index=['State','COUNTY','SubstanceName'],columns='YYYY',values='DrugReports',fill_value='-').reset_index().rename_axis(columns={'YYYY':''})

(b) 现在请将(a)中的结果恢复到原数据表，并通过equal函数检验初始表与新的结果是否一致（返回True）

#melt函数中的id_vars表示需要保留的列，value_vars表示需要stack的一组列
df_m= df_p.melt(id_vars=['State','COUNTY','SubstanceName'],value_vars=df_p.columns[-8:]
                ,var_name='YYYY',value_name='DrugReports').query('DrugReports != "-"')
df_result = df_m.sort_values(by=['State','COUNTY','YYYY','SubstanceName']).reset_index().drop(columns='index')
df_final = df_result.reset_index().sort_values(by=df_result.columns[:4].tolist()).reset_index().drop(columns='index')
df_final.equals(df_result)

【练习二】现有一份关于某地区地震情况的数据集，请解决如下问题：

df0=pd.read_csv('C:/Users/Kingfish/Desktop/joyful-pandas-master/joyful-pandas-master/data/Earthquake.csv')
df0.head()

在这里插入图片描述
现在请你将数据表转化成如下形态，将方向列展开，并将距离、深度和烈度三个属性压缩：

df_p2=pd.pivot_table(df0,index=['日期','时间','维度','经度'],columns='方向',values=['深度','烈度','距离'],fill_value='-').stack(level=0).rename_axis(index={None:'地震参数'})