第4章 变形

第4章 变形

import numpy as np
import pandas as pd
df = pd.read_csv('data/table.csv')
df.head()
# import numpy as np
# import pandas as pd 
# df=pd.read_csv('data/table.csv')
# df.head()
SchoolClassIDGenderAddressHeightWeightMathPhysics
0S_1C_11101Mstreet_11736334.0A+
1S_1C_11102Fstreet_21927332.5B+
2S_1C_11103Mstreet_21868287.2B+
3S_1C_11104Fstreet_21678180.4B-
4S_1C_11105Fstreet_41596484.8B+

一、透视表

1. pivot

一般状态下,数据在DataFrame会以压缩(stacked)状态存放,例如上面的Gender,两个类别被叠在一列中,pivot函数可将某一列作为新的cols:
df.pivot(index='ID',columns='Gender',values='Height').head()
df.pivot(index='ID',columns='Class',values='Physics').head()
ClassC_1C_2C_3C_4
ID
1101A+NaNNaNNaN
1102B+NaNNaNNaN
1103B+NaNNaNNaN
1104B-NaNNaNNaN
1105B+NaNNaNNaN
然而pivot函数具有很强的局限性,除了功能上较少之外,还不允许values中出现重复的行列索引对(pair),例如下面的语句就会报错:
# df.pivot(index='School',columns='Gender',values='Height').head()
因此,更多的时候会选择使用强大的pivot_table函数

2. pivot_table

首先,再现上面的操作:

df.pivot_table(index='ID',columns='Gender',values='Height').head()

GenderFM
ID
1101NaN173.0
1102192.0NaN
1103NaN186.0
1104167.0NaN
1105159.0NaN
df.pivot_table(index='School',columns='Gender',values='Height')
GenderFM
School
S_1173.125000178.714286
S_2173.727273172.000000
由于功能更多,速度上自然是比不上原来的pivot函数:
%timeit df.pivot(index='ID',columns='Gender',values='Height')
%timeit pd.pivot_table(df,index='ID',columns='Gender',values='Height')
%timeit pd.crosstab(index=df['ID'],columns=df['Gender'])
# %timeit df.pivot(index='ID',columns='Gender',values='Height')
# %timeit pd.pivot_table(df,index='ID',columns='Gender',values='Height')
1.67 ms ± 124 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
6.73 ms ± 91.4 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
8.21 ms ± 213 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
Pandas中提供了各种选项,下面介绍常用参数:
① aggfunc:对组内进行聚合统计,可传入各类函数,默认为’mean’
pd.pivot_table(df,index='School',columns='Gender',values='Height',aggfunc=['mean','sum']).head()
pd.pivot_table(df,index='School',columns='Class',values='Height',aggfunc=['mean','sum','std']).head()
meansumstd
ClassC_1C_2C_3C_4C_1C_2C_3C_4C_1C_2C_3C_4
School
S_1175.4170.6181.2NaN877.0853.0906.0NaN13.53883311.52388813.386560NaN
S_2164.2180.0173.8173.8821.0900.0869.0869.07.39594516.00000014.34224517.326281
② margins:汇总边际状态
pd.pivot_table(df,index='School',columns='Gender',values='Height',aggfunc=['mean','sum'],margins=True).head()
#margins_name可以设置名字,默认为'All'
pd.pivot_table(df,index='School',columns='Gender',values='Height',aggfunc=['mean','sum'],margins=True,margins_name='margins').head()
meansum
GenderFMmarginsFMmargins
School
S_1173.125000178.714286175.733333138512512636
S_2173.727273172.000000172.950000191115483459
margins173.473684174.937500174.142857329627996095
③ 行、列、值都可以为多级
pd.pivot_table(df,index=['School','Class'],columns=['Gender','Address'],values=['Height','Math'])#',,'Height'

Height...Math
GenderFM...FM
Addressstreet_1street_2street_4street_5street_6street_7street_1street_2street_4street_5...street_4street_5street_6street_7street_1street_2street_4street_5street_6street_7
SchoolClass
S_1C_1NaN179.5159.0NaNNaNNaN173.0186.0NaNNaN...84.8NaNNaNNaN34.087.2NaNNaNNaNNaN
C_2NaNNaN176.0162.0167.0NaNNaNNaNNaN188.0...63.533.868.40NaNNaNNaNNaN97.058.8NaN
C_3175.0NaNNaN187.0NaNNaNNaN195.0161.0NaN...NaN61.7NaNNaNNaN85.231.50NaNNaN49.7
S_2C_1NaNNaNNaN159.0161.0NaNNaNNaN163.5NaN...NaN72.250.60NaNNaNNaN43.35NaNNaN83.3
C_2NaNNaNNaNNaNNaN188.5175.0NaN155.0193.0...NaNNaNNaN76.9547.2NaN73.8039.1NaNNaN
C_3NaNNaN157.0NaN164.0190.0NaNNaN187.0171.0...72.3NaN95.5065.90NaNNaN48.9032.7NaNNaN
C_4NaN176.0NaNNaN175.5NaNNaNNaNNaNNaN...NaNNaN53.65NaNNaNNaNNaNNaNNaN48.7

7 rows × 24 columns

3. crosstab(交叉表)

交叉表是一种特殊的透视表,典型的用途如分组统计,如现在想要统计关于街道和性别分组的频数:
df.head()
SchoolClassIDGenderAddressHeightWeightMathPhysics
0S_1C_11101Mstreet_11736334.0A+
1S_1C_11102Fstreet_21927332.5B+
2S_1C_11103Mstreet_21868287.2B+
3S_1C_11104Fstreet_21678180.4B-
4S_1C_11105Fstreet_41596484.8B+
pd.crosstab(index=df['Address'],columns=df['Gender'])
pd.crosstab(index=df['School'],columns=df['Class'])
#默认参数等于如下方法:
#pd.crosstab(index=df['Address'],columns=df['Gender'],values=1,aggfunc='count')
ClassC_1C_2C_3C_4
School
S_15550
S_25555
交叉表的功能也很强大(但目前还不支持多级分组),下面说明一些重要参数:
① values和aggfunc:分组对某些数据进行聚合操作,这两个参数必须成对出现
pd.crosstab(index=df['School'],columns=df['Class'],values=df['Math'],aggfunc='mean',normalize='index')
ClassC_1C_2C_3C_4
School
S_10.3335080.3362270.3302660.000000
S_20.2458230.2636220.2647130.225842
pd.crosstab(index=df['Address'],columns=df['Gender'],
            values=np.random.randint(1,20,df.shape[0]),aggfunc='min')

# pd.crosstab(index=df['Address'],columns=df['Gender'],
#            values=np.random.randint(1,20,df.shape[0]),aggfunc='min')

#默认参数等于如下方法:
#pd.crosstab(index=df['Address'],columns=df['Gender'],values=1,aggfunc='count')
GenderFM
Address
street_11312
street_256
street_452
street_5314
street_626
street_714
② 除了边际参数margins外,还引入了normalize参数,可选’all’,‘index’,'columns’参数值
pd.crosstab(index=df['Address'],columns=df['Gender'],normalize='all',margins=True)
# pd.crosstab(index=df['Address'],columns=df['Gender'],normalize='all',margins=True)
GenderFMAll
Address
street_10.0285710.0571430.085714
street_20.1142860.0571430.171429
street_40.0857140.1428570.228571
street_50.0857140.0857140.171429
street_60.1428570.0285710.171429
street_70.0857140.0857140.171429
All0.5428570.4571431.000000

二、其他变形方法

1. melt

melt函数可以认为是pivot函数的逆操作,将unstacked状态的数据,压缩成stacked,使“宽”的DataFrame变“窄”
df_m = df[['ID','Gender','Math']]
df_m.head()

# df_m=df[['ID','Gender','Math']]
# df_m.head()
IDGenderMath
01101M34.0
11102F32.5
21103M87.2
31104F80.4
41105F84.8
df.pivot(index='ID',columns='Gender',values='Math').head()
# df.pivot(index='ID',columns='Gender',values='Math').head()
GenderFM
ID
1101NaN34.0
110232.5NaN
1103NaN87.2
110480.4NaN
110584.8NaN
melt函数中的id_vars表示需要保留的列,value_vars表示需要stack的一组列
pivoted=df.pivot(index='ID',columns='Gender',values='Math')
result=pivoted.reset_index().melt(id_vars=['ID'],value_vars=['F','M'],value_name='Math').dropna().set_index('ID').sort_index().head()
result

GenderMath
ID
1101M34.0
1102F32.5
1103M87.2
1104F80.4
1105F84.8
pivoted = df.pivot(index='ID',columns='Gender',values='Math')
result = pivoted.reset_index().melt(id_vars=['ID'],value_vars=['F','M'],value_name='Math')\
                     .dropna().set_index('ID').sort_index()
#检验是否与展开前的df相同,可以分别将这些链式方法的中间步骤展开,看看是什么结果
result.equals(df_m.set_index('ID'))
True

2. 压缩与展开

(1)stack:这是最基础的变形函数,总共只有两个参数:level和dropna
df_s = pd.pivot_table(df,index=['Class','ID'],columns='Gender',values=['Height','Weight'])
df_s.groupby('Class').head(2)
# df_s=pd.pivot_table(df,index=['Class','ID'],columns='Gender',values=['Height','Weight'])
# df_s.groupby('Class').head(2)
HeightWeight
GenderFMFM
ClassID
C_11101NaN173.0NaN63.0
1102192.0NaN73.0NaN
C_21201NaN188.0NaN68.0
1202176.0NaN94.0NaN
C_31301NaN161.0NaN68.0
1302175.0NaN57.0NaN
C_42401192.0NaN62.0NaN
2402NaN166.0NaN82.0
df_stacked = df_s.stack()
df_stacked.groupby('Class').head(2)

# df_stacked=df_s.stack()
# df_stacked.groupby('Class').head(2)
HeightWeight
ClassIDGender
C_11101M173.063.0
1102F192.073.0
C_21201M188.068.0
1202F176.094.0
C_31301M161.068.0
1302F175.057.0
C_42401F192.062.0
2402M166.082.0
stack函数可以看做将横向的索引放到纵向,因此功能类似与melt,参数level可指定变化的列索引是哪一层(或哪几层,需要列表)
df_stacked = df_s.stack(1)
df_stacked.groupby('Class').head(2)
HeightWeight
ClassIDGender
C_11101M173.063.0
1102F192.073.0
C_21201M188.068.0
1202F176.094.0
C_31301M161.068.0
1302F175.057.0
C_42401F192.062.0
2402M166.082.0
df_stacked=df_s.stack(0)
df_stacked.groupby('Class').head(2)
GenderFM
ClassID
C_11101HeightNaN173.0
WeightNaN63.0
C_21201HeightNaN188.0
WeightNaN68.0
C_31301HeightNaN161.0
WeightNaN68.0
C_42401Height192.0NaN
Weight62.0NaN
(2) unstack:stack的逆函数,功能上类似于pivot_table
df_stacked.head()
GenderFM
ClassID
C_11101HeightNaN173.0
WeightNaN63.0
1102Height192.0NaN
Weight73.0NaN
1103HeightNaN186.0
# result = df_stacked.unstack().swaplevel(1,0,axis=1).sort_index(axis=1)
# result.equals(df_s)
result=df_stacked.unstack().swaplevel(1,0,axis=1).sort_index(axis=1)
# result=df_stacked.unstack(0)
result
result.groupby('Class').head(2)
#同样在unstack中可以指定level参数
HeightWeight
GenderFMFM
ClassID
C_11101NaN173.0NaN63.0
1102192.0NaN73.0NaN
C_21201NaN188.0NaN68.0
1202176.0NaN94.0NaN
C_31301NaN161.0NaN68.0
1302175.0NaN57.0NaN
C_42401192.0NaN62.0NaN
2402NaN166.0NaN82.0

三、哑变量与因子化

1. Dummy Variable(哑变量)

这里主要介绍get_dummies函数,其功能主要是进行one-hot编码:
df_d = df[['Class','Gender','Weight']]
df_d.head()
ClassGenderWeight
0C_1M63
1C_1F73
2C_1M82
3C_1F81
4C_1F64
现在希望将上面的表格前两列转化为哑变量,并加入第三列Weight数值:
pd.get_dummies(df_d[['Class','Gender']]).join(df_d['Weight']).head()
#可选prefix参数添加前缀,prefix_sep添加分隔符

# pd.crosstab(index=df_d.index.values,columns=df_d['Gender'],values=1,aggfunc='count')#
Class_C_1Class_C_2Class_C_3Class_C_4Gender_FGender_MWeight
010000163
110001073
210000182
310001081
410001064

2. factorize方法

该方法主要用于自然数编码,并且缺失值会被记做-1,其中sort参数表示是否排序后赋值
codes, uniques = pd.factorize(['b', None, 'a', 'c', 'b'], sort=True)
display(codes)
display(uniques)


# codes,uniques=pd.factorize(['b',None,'a','c','b'],sort=True)
# display(codes)
# display(uniques)
array([ 1, -1,  0,  2,  1], dtype=int64)



array(['a', 'b', 'c'], dtype=object)

四、问题与练习

1. 问题

【问题一】 上面提到了许多变形函数,如melt/crosstab/pivot/pivot_table/stack/unstack函数,请总结它们各自的使用特点。
  • melt &unstack 将unstacked状态的数据,压缩成stacked,使“宽”的DataFrame变“窄”
  • pivot&pivot_table&stack pivot函数可将某一列作为新的cols
  • crosstab 交叉表是一种特殊的透视表,典型的用途如分组统计
【问题二】 变形函数和多级索引是什么关系?哪些变形函数会使得索引维数变化?具体如何变化?
【问题三】 请举出一个除了上文提过的关于哑变量方法的例子。
  • pd.get_dummies(df_d[[‘Class’,‘Gender’]]),感觉有的时候需要把一些类别特征化成数字特征的时候可以用
【问题四】 使用完stack后立即使用unstack一定能保证变化结果与原始表完全一致吗?
  • 不一定,要看具体操作的时候stack跟unstack操作时level参数
【问题五】 透视表中涉及了三个函数,请分别使用它们完成相同的目标(任务自定)并比较哪个速度最快。
  • %timeit df.pivot(index=‘ID’,columns=‘Gender’,values=‘Height’)

  • %timeit pd.pivot_table(df,index=‘ID’,columns=‘Gender’,values=‘Height’)

  • %timeit pd.crosstab(index=df[‘ID’],columns=df[‘Gender’])

  • 1.67 ms ± 124 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

  • 6.73 ms ± 91.4 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

  • 8.21 ms ± 213 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

【问题六】 既然melt起到了stack的功能,为什么再设计stack函数?
  • stack 不用把那一列里面具体有哪些类写出来感觉对于类别不知道或者很多的情况下就需要用到stack

2. 练习

【练习一】 继续使用上一章的药物数据集:
pd.read_csv('data/Drugs.csv').head()
YYYYStateCOUNTYSubstanceNameDrugReports
02010VAACCOMACKPropoxyphene1
12010OHADAMSMorphine9
22010PAADAMSMethadone2
32010VAALEXANDRIA CITYHeroin5
42010PAALLEGHENYHydromorphone5
(a) 现在请你将数据表转化成如下形态,每行需要显示每种药物在每个地区的10年至17年的变化情况,且前三列需要排序:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MPkKSaM4-1588087666791)(picture/drug_pic.png)]

df=pd.read_csv('data/Drugs.csv',index_col=['State','COUNTY','SubstanceName']).sort_index()
df.head()
YYYYDrugReports
StateCOUNTYSubstanceName
KYADAIRBuprenorphine20113
Buprenorphine20125
Buprenorphine20134
Buprenorphine201427
Buprenorphine20155
result=pd.pivot_table(df,index=['State','COUNTY','SubstanceName'],columns='YYYY',values='DrugReports',fill_value='-').reset_index().rename_axis(columns={'YYYY':''})
result.head()
StateCOUNTYSubstanceName20102011201220132014201520162017
0KYADAIRBuprenorphine-354275710
1KYADAIRCodeine--1----1
2KYADAIRFentanyl--1-----
3KYADAIRHeroin--12-1-2
4KYADAIRHydrocodone69101097113
答案
df = pd.read_csv('data/Drugs.csv',index_col=['State','COUNTY']).sort_index()
df.head()
YYYYSubstanceNameDrugReports
StateCOUNTY
KYADAIR2010Methadone1
ADAIR2010Hydrocodone6
ADAIR2011Oxycodone4
ADAIR2011Buprenorphine3
ADAIR2011Morphine2
result = pd.pivot_table(df,index=['State','COUNTY','SubstanceName']
                 ,columns='YYYY'
                 ,values='DrugReports',fill_value='-').reset_index().rename_axis(columns={'YYYY':''})
result.head()
StateCOUNTYSubstanceName20102011201220132014201520162017
0KYADAIRBuprenorphine-354275710
1KYADAIRCodeine--1----1
2KYADAIRFentanyl--1-----
3KYADAIRHeroin--12-1-2
4KYADAIRHydrocodone69101097113
(b) 现在请将(a)中的结果恢复到原数据表,并通过equal函数检验初始表与新的结果是否一致(返回True)
pivoted=result.rename_axis(columns={'':'YYYY'})#.set_index(['State','COUNTY','SubstanceName'])
melted=pivoted.melt(id_vars=['State','COUNTY','SubstanceName'],value_vars=[2010,2011,2012,2013,2014,2015,2016,2017 ],value_name='DrugReports').set_index(['State','COUNTY','SubstanceName']).dropna().sort_index()#.head()#
# melted.query('DrugReports!="-"')
melted=melted.query('DrugReports!="-"')
melted.head()
melted['DrugReports']=melted['DrugReports'].astype(np.int64)
melted['YYYY']=melted['YYYY'].astype(np.int64)
type(melted['DrugReports'][0])
type(melted['YYYY'][0])
type(df['YYYY'][0])
melted.equals(df)

答案

result_melted = result.melt(id_vars=result.columns[:3],value_vars=result.columns[-8:]
                ,var_name='YYYY',value_name='DrugReports').query('DrugReports != "-"')
result2 = result_melted.sort_values(by=['State','COUNTY','YYYY'
                                    ,'SubstanceName']).reset_index().drop(columns='index')
#下面其实无关紧要,只是交换两个列再改一下类型(因为‘-’所以type变成object了)
cols = list(result2.columns)
a, b = cols.index('SubstanceName'), cols.index('YYYY')
cols[b], cols[a] = cols[a], cols[b]
result2 = result2[cols].astype({'DrugReports':'int','YYYY':'int'})
result2.head()
StateCOUNTYYYYYSubstanceNameDrugReports
0KYADAIR2010Hydrocodone6
1KYADAIR2010Methadone1
2KYADAIR2011Buprenorphine3
3KYADAIR2011Hydrocodone9
4KYADAIR2011Morphine2
df_tidy = df.reset_index().sort_values(by=result2.columns[:4].tolist()).reset_index().drop(columns='index')
df_tidy.head()
StateCOUNTYYYYYSubstanceNameDrugReports
0KYADAIR2010Hydrocodone6
1KYADAIR2010Methadone1
2KYADAIR2011Buprenorphine3
3KYADAIR2011Hydrocodone9
4KYADAIR2011Morphine2
df_tidy.equals(result2)
False
【练习二】 现有一份关于某地区地震情况的数据集,请解决如下问题:
pd.read_csv('data/Earthquake.csv').head()
日期时间维度经度方向距离深度烈度
02003.05.2012:17:44 AM39.0440.38west0.110.00.0
12007.08.0112:03:08 AM40.7930.09west0.15.24.0
21978.05.0712:41:37 AM38.5827.61south_west0.10.00.0
31997.03.2212:31:45 AM39.4736.44south_west0.110.00.0
42000.04.0212:57:38 AM40.8030.24south_west0.17.00.0
(a) 现在请你将数据表转化成如下形态,将方向列展开,并将距离、深度和烈度三个属性压缩:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9PvoGaCn-1588087666793)(picture/earthquake_pic.png)]
方案一

答案

df = pd.read_csv('data/Earthquake.csv')
df = df.sort_values(by=df.columns.tolist()[:3]).sort_index(axis=1).reset_index().drop(columns='index')
df.head()
方向日期时间深度烈度经度维度距离
0south_east1912.08.0912:29:00 AM16.06.727.240.64.3
1south_west1912.08.1012:23:00 AM15.06.027.140.62.0
2south_west1912.08.1012:30:00 AM15.05.227.140.62.0
3south_east1912.08.1112:19:04 AM30.04.927.240.64.3
4south_west1912.08.1112:20:00 AM15.04.527.140.62.0
result = pd.pivot_table(df,index=['日期','时间','维度','经度']
            ,columns='方向'
            ,values=['烈度','深度','距离'],fill_value='-').stack(level=0).rename_axis(index={None:'地震参数'})
result.head(6)
方向eastnorthnorth_eastnorth_westsouthsouth_eastsouth_westwest
日期时间维度经度地震参数
1912.08.0912:29:00 AM40.627.2深度-----16--
烈度-----6.7--
距离-----4.3--
1912.08.1012:23:00 AM40.627.1深度------15-
烈度------6-
距离------2-
(b) 现在请将(a)中的结果恢复到原数据表,并通过equal函数检验初始表与新的结果是否一致(返回True)
result=result.rename_axis(index={'地震参数':None})
df_result=result.unstack().stack(0)[(result.unstack().stack(0)!='-').any(1)].reset_index()
df_result = df_result.sort_index(axis=1).astype({'深度':'float64','烈度':'float64','距离':'float64'})
df_result.head()
# df.equals(df_result)
df_result = result.unstack().stack(0)[(~(result.unstack().stack(0)=='-')).any(1)].reset_index()
df_result.columns.name=None
df_result = df_result.sort_index(axis=1).astype({'深度':'float64','烈度':'float64','距离':'float64'})
df_result.head()
方向日期时间深度烈度经度维度距离
0south_east1912.08.0912:29:00 AM16.06.727.240.64.3
1south_west1912.08.1012:23:00 AM15.06.027.140.62.0
2south_west1912.08.1012:30:00 AM15.05.227.140.62.0
3south_east1912.08.1112:19:04 AM30.04.927.240.64.3
4south_west1912.08.1112:20:00 AM15.04.527.140.62.0
df_result.astype({'深度':'float64','烈度':'float64','距离':'float64'},copy=False).dtypes
方向     object
日期     object
时间     object
深度    float64
烈度    float64
经度    float64
维度    float64
距离    float64
dtype: object
df.equals(df_result)
True

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值