Python数据分析 | (27) 重塑和轴向旋转

有许多用于重新排列表格型数据的基础运算。这些函数也称作重塑(reshape)或轴向旋转(pivot)运算。

目录

1. 重塑层次化索引

2. 将"长格式"旋转为"宽格式"

3. 将"宽格式"旋转为"长格式"

---

1. 重塑层次化索引

层次化索引为DataFrame数据的重排任务提供了一种具有良好一致性的方 式。主要功能有二:

• stack:将数据的列“旋转”为行。
• unstack:将数据的行“旋转”为列。

我将通过一系列的范例来讲解这些操作。接下来看一个简单的DataFrame， 其中的行列索引均为字符串数组:

data = pd.DataFrame(np.arange(6).reshape((2, 3)),
                    index=pd.Index(['Ohio', 'Colorado'], name='state'),
                    columns=pd.Index(['one', 'two', 'three'],
                    name='number'))
data

对该数据使用stack方法即可将列转换为行，得到一个Series:

result = data.stack()
result

对于一个层次化索引的Series，你可以用unstack将其重排为一个DataFrame:

result.unstack()

默认情况下，unstack操作的是最内层(stack也是如此)。传入分层级别的 编号或名称即可对其它级别进行unstack操作:

print(result.unstack(0))
print("------------")
print(result.unstack('state'))

如果不是所有的级别值都能在各分组中找到的话，则unstack操作可能会引入 缺失数据:

s1 = pd.Series([0, 1, 2, 3], index=['a', 'b', 'c', 'd'])
s2 = pd.Series([4, 5, 6], index=['c', 'd', 'e'])
data2 = pd.concat([s1, s2], keys=['one', 'two'])
print(data2)
data2.unstack()

stack默认会滤除缺失数据，因此该运算是可逆的:

print(data2.unstack())
print("------------------")
print(data2.unstack().stack())
print("------------------")
print(data2.unstack().stack(dropna=False))

在对DataFrame进行unstack操作时，作为旋转轴的级别将会成为结果中的最 低级别:

print(result)
print("-----------------")
df = pd.DataFrame({'left': result, 'right': result + 5},
                  columns=pd.Index(['left', 'right'], name='side'))
print(df)
df.unstack('state')

当调用stack，我们可以指明轴的名字:

df.unstack('state').stack('side')

2. 将"长格式"旋转为"宽格式"

多个时间序列数据通常是以所谓的“长格式”(long)或“堆叠格 式”(stacked)存储在数据库和CSV中的。我们先加载一些示例数据，做一 些时间序列规整和数据清洗:

data = pd.read_csv('examples/macrodata.csv')
print(data.head())

periods = pd.PeriodIndex(year=data.year, quarter=data.quarter,
                         name='date')
columns = pd.Index(['realgdp', 'infl', 'unemp'], name='item')
data = data.reindex(columns=columns)
data.index = periods.to_timestamp('D', 'end')
ldata = data.stack().reset_index().rename(columns={0: 'value'})

ldata[:10]

 

这就是多个时间序列(或者其它带有两个或多个键的可观察数据，这里，我 们的键是date和item)的长格式。表中的每行代表一次观察。

关系型数据库(如MySQL)中的数据经常都是这样存储的，因为固定架构 (即列名和数据类型)有一个好处:随着表中数据的添加，item列中的值的 种类能够增加。在前面的例子中，date和item通常就是主键(用关系型数据 库的说法)，不仅提供了关系完整性，而且提供了更为简单的查询支持。有 的情况下，使用这样的数据会很麻烦，你可能会更喜欢DataFrame，不同的item值分别形成一列，date列中的时间戳则用作索引。DataFrame的pivot方 法完全可以实现这个转换:

pivoted = ldata.pivot('date', 'item', 'value')
pivoted

 

前两个传递的值分别用作行和列索引，最后一个可选值则是用于填充DataFrame的数据列。假设有两个需要同时重塑的数据列:

ldata['value2'] = np.random.randn(len(ldata))
ldata[:10]

 

如果忽略最后一个参数，得到的DataFrame就会带有层次化的列:

pivoted = ldata.pivot('date', 'item')
pivoted[:5]
pivoted['value'][:5]

注意，pivot其实就是用set_index创建层次化索引，再用unstack重塑:

print(ldata[:5])
unstacked = ldata.set_index(['date', 'item']).unstack('item')
unstacked[:7]

 

3. 将"宽格式"旋转为"长格式"

旋转DataFrame的逆运算是pandas.melt。它不是将一列转换到多个新的DataFrame，而是合并多个列成为一个，产生一个比输入长的DataFrame。 看一个例子:

df = pd.DataFrame({'key': ['foo', 'bar', 'baz'],
                   'A': [1, 2, 3],
                   'B': [4, 5, 6],
                   'C': [7, 8, 9]})
df

key列可能是分组指标，其它的列是数据值。当使用pandas.melt，我们必须 指明哪些列是分组指标。下面使用key作为唯一的分组指标:

melted = pd.melt(df, ['key'])
melted

使用pivot，可以重塑回原来的样子:

reshaped = melted.pivot('key', 'variable', 'value')
reshaped

因为pivot的结果从列创建了一个索引，用作行标签，我们可以使用reset_index将数据移回列:

reshaped.reset_index()

你还可以指定列的子集，作为值的列:

pd.melt(df, id_vars=['key'], value_vars=['A', 'B'])

pandas.melt也可以不用分组指标:

pd.melt(df, value_vars=['A', 'B', 'C'])

pd.melt(df, value_vars=['key', 'A', 'B'])