pandas 实现excel数据透视表维度转换

1.pivot_table() 实现三维数据行列转换，将左边数据格式转换成右边显示格式

首先将宽表变成长表，用pd.melt()

其中主要参数有

id_vars:不需要被转换的列名

var_values:需要被转换的列名，如果剩下的列名都需要被转换，则可以忽略不写；

var_name和value_name对应转换的自定义列名

https://pandas.pydata.org/pandas-docs/version/0.19.0/generated/pandas.melt.html

import pandas as pd
df =pd.read_excel(r'D:\zr.xlsx')
dts = pd.melt(df,id_vars=['城市','年月'],var_name='指标',value_name='值')
print(dts)
#再使用pivot_table()函数将长表转换成宽表
data = dts.pivot_table(index=['城市','指标'],columns=['年月']).reset_index()
print(data)
#其中中间图为打印结果，但是从结果看列名称为双层索引，当保存成excel格式时结果为右边结果

#打印看一下列名称格式
print(data.columns)

#获取列的各层级索引
cols1 = list(data.columns.get_level_values(0))
print(cols1)
cols2= list(data.columns_get_level_values(1))
print(cols2)

cols = cols1[:2]+cols2[2:]
print(cols)  #列名称
#重命名列名
data.columns = cols
print(data)

 

MultiIndex()中获取层级信息 get_level_values();删除层级droplevel()两个的参数传入所在层级

对于结果排序问题，将城市按照，北京，上海，太原，苏州 进行排序

cols_orig=['北京','上海','太原','苏州']
data['城市']=data['城市'].astype('category').cat.reorder_categories(cols_orig, ordered=True)
data = data.sort_values('城市')
print(data)

https://www.jianshu.com/p/2d3dd3e30d51

2、多列合并成一行

import pandas as pd
df = pd.DataFrame({'id_part':['a','b','c','d'], 'pred':[0.1,0.2,0.3,0.4], 'pred_class':['women','man','cat','dog'], 'v_id':['d1','d2','d3','d1']})
print(df)
dt = df.groupby(['v_id']).agg({'pred_class': [', '.join],'pred': lambda x: list(x),'id_part': 'first'}).reset_index()
print(dt)