Python数据分析 | (28) GroupBy机制

对数据集进行分组并对各组应用一个函数(无论是聚合还是转换)，通常是 数据分析工作中的重要环节。在将数据集加载、融合、准备好之后，通常就 是计算分组统计或生成透视表。pandas提供了一个灵活高效的gruopby功 能，它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。

关系型数据库和SQL(Structured Query Language，结构化查询语言)能够 如此流行的原因之一就是其能够方便地对数据进行连接、过滤、转换和聚 合。但是，像SQL这样的查询语言所能执行的分组运算的种类很有限。在本篇博客中你将会看到，由于Python和pandas强大的表达能力，我们可以执行复杂 得多的分组运算(利用任何可以接受pandas对象或NumPy数组的函数)。在 本博客中，你将会学到：

• 使用一个或多个键(形式可以是函数、数组或DataFrame列名)分割pandas对象。
• 计算分组的概述统计，比如数量、平均值或标准差，或是用户定义的函 数。
• 应用组内转换或其他运算，如规格化、线性回归、排名或选取子集等。
• 计算透视表或交叉表。
• 执行分位数分析以及其它统计分组分析。

对时间序列数据的聚合(groupby的特殊用法之一)也称作重采 样(resampling)，后续会单独对其进行讲解。

目录

1. GroupBy

2. 对分组进行迭代

3. 选取一列或列的子集

4. 通过字典或Series进行分组

5. 通过函数进行分组

6. 根据索引级别分组

---

1. GroupBy

Hadley Wickham(许多热门R语言包的作者)创造了一个用于表示分组运算 的术语"split-apply-combine"(拆分-应用-合并)。第一个阶段，pandas对 象(无论是Series、DataFrame还是其他的)中的数据会根据你所提供的一 个或多个键被拆分(split)为多组。拆分操作是在对象的特定轴上执行的。 例如，DataFrame可以在其行(axis=0)或列(axis=1)上进行分组。然 后，将一个函数应用(apply)到各个分组并产生一个新值。最后，所有这些 函数的执行结果会被合并(combine)到最终的结果对象中。结果对象的形 式一般取决于数据上所执行的操作。下图大致说明了一个简单的分组聚合 过程。

分组键可以有多种形式，且类型不必相同:

• 列表或数组，其长度与待分组的轴一样。
• 表示DataFrame某个列名的值。
• 字典或Series，给出待分组轴上的值与分组名之间的对应关系
• 函数，用于处理轴索引或索引中的各个标签。

注意，后三种都只是快捷方式而已，其最终目的仍然是产生一组用于拆分对 象的值。如果觉得这些东西看起来很抽象，不用担心，我将在本博客中给出大 量有关于此的示例。首先来看看下面这个非常简单的表格型数据集(以DataFrame的形式):

import numpy as np
import pandas as pd
PREVIOUS_MAX_ROWS = pd.options.display.max_rows
pd.options.display.max_rows = 20
np.random.seed(12345)
import matplotlib.pyplot as plt
plt.rc('figure', figsize=(10, 6))
np.set_printoptions(precision=4, suppress=True)

df = pd.DataFrame({'key1' : ['a', 'a', 'b', 'b', 'a'],
                   'key2' : ['one', 'two', 'one', 'two', 'one'],
                   'data1' : np.random.randn(5),
                   'data2' : np.random.randn(5)})
df

假设你想要按key1进行分组，并计算data1列的平均值。实现该功能的方式 有很多，而我们这里要用的是:访问data1，并根据key1调用groupby:

grouped = df['data1'].groupby(df['key1'])
grouped

变量grouped是一个GroupBy对象。它实际上还没有进行任何计算，只是含 有一些有关分组键df['key1']的中间数据而已。换句话说，该对象已经有了接 下来对各分组执行运算所需的一切信息。例如，我们可以调用GroupBy的mean方法来计算分组平均值:

grouped.mean()

稍后我将详细讲解.mean()的调用过程。这里最重要的是，数据(Series)根 据分组键进行了聚合，产生了一个新的Series，其索引为key1列中的唯一 值。之所以结果中索引的名称为key1，是因为原始DataFrame的列df['key1']就叫这个名字。

如果我们一次传入多个Series的列表作为键，就会得到不同的结果:

means = df['data1'].groupby([df['key1'], df['key2']]).mean()
means

这里，我通过两个键对数据进行了分组，得到的Series具有一个层次化索引 (由唯一的键对组成):

means.unstack()

在这个例子中，分组键均为Series。实际上，分组键可以是任何长度适当的 数组:

states = np.array(['Ohio', 'California', 'California', 'Ohio', 'Ohio'])
years = np.array([2005, 2005, 2006, 2005, 2006])
df['data1'].groupby([states, years]).mean()

通常，分组信息就位于相同的要处理DataFrame中。这里，你还可以将列名 (可以是字符串、数字或其他Python对象)用作分组键:

print(df)
df.groupby('key1').mean()

df.groupby(['key1', 'key2']).mean()

你可能已经注意到了，第一个例子在执行df.groupby('key1').mean()时，结果 中没有key2列。这是因为df['key2']不是数值数据(俗称“麻烦列”)，所以被 从结果中排除了。默认情况下，所有数值列都会被聚合，虽然有时可能会被 过滤为一个子集，稍后就会碰到。

无论你准备拿groupby做什么，都有可能会用到GroupBy的size方法，它可以 返回一个含有分组大小的Series:

df.groupby(['key1', 'key2']).size()

注意，任何分组关键词中的缺失值，都会被从结果中除去。

 

2. 对分组进行迭代

GroupBy对象支持迭代，可以产生一组二元元组(由分组名和数据块组 成)。看下面的例子:

for name, group in df.groupby('key1'):
    print(name)
    print(group)
    print("-------")

对于多重键的情况，元组的第一个元素将会是由键值组成的元组:

for (k1, k2), group in df.groupby(['key1', 'key2']):
    print((k1, k2))
    print(group)
    print("---------")

当然，你可以对这些数据片段做任何操作。有一个你可能会觉得有用的运算:将这些数据片段做成一个字典:

pieces = dict(list(df.groupby('key1')))
pieces['b']

groupby默认是在axis=0上进行分组的，通过设置也可以在其他任何轴上进行 分组。拿上面例子中的df来说，我们可以根据dtype对列进行分组:

df.dtypes

grouped = df.groupby(df.dtypes, axis=1)

可以如下打印分组:

for dtype, group in grouped:
    print(dtype)
    print(group)

 

3. 选取一列或列的子集

对于由DataFrame产生的GroupBy对象，如果用一个(单个字符串)或一组 (字符串数组)列名对其进行索引，就能实现选取部分列进行聚合的目的。 也就是说

df.groupby('key1')['data1']
df.groupby('key1')[['data2']]

等价于：

df['data1'].groupby(df['key1'])
df[['data2']].groupby(df['key1'])

尤其对于大数据集，很可能只需要对部分列进行聚合。例如，在前面那个数 据集中，如果只需计算data2列的平均值并以DataFrame形式得到结果，可以 这样写:

df.groupby(['key1', 'key2'])[['data2']].mean() #DataFrame形式

df.groupby(['key1', 'key2'])['data2'].mean()

这种索引操作所返回的对象是一个已分组的DataFrame(如果传入的是列表 或数组)或已分组的Series(如果传入的是标量形式的单个列名):

s_grouped = df.groupby(['key1', 'key2'])['data2']
s_grouped

s_grouped.mean()

 

4. 通过字典或Series进行分组

除数组以外，分组信息还可以其他形式存在。来看另一个示例DataFrame:

people = pd.DataFrame(np.random.randn(5, 5),
                      columns=['a', 'b', 'c', 'd', 'e'],
                      index=['Joe', 'Steve', 'Wes', 'Jim', 'Travis'])
people.iloc[2:3, [1, 2]] = np.nan # Add a few NA values
people

现在，假设已知列的分组关系，并希望根据分组计算列的和:

mapping = {'a': 'red', 'b': 'red', 'c': 'blue',
           'd': 'blue', 'e': 'red', 'f' : 'orange'}

现在，你可以将这个字典传给groupby，来构造数组，但我们可以直接传递 字典(我包含了键“f”来强调，存在未使用的分组键是可以的):

by_column = people.groupby(mapping, axis=1)
by_column.sum()

Series也有同样的功能，它可以被看做一个固定大小的映射:

map_series = pd.Series(mapping)
map_series

people.groupby(map_series, axis=1).count() #自动滤过Nan

 

5. 通过函数进行分组

比起使用字典或Series，使用Python函数是一种更原生的方法定义分组映 射。任何被当做分组键的函数都会在各个索引值上被调用一次，其返回值就 会被用作分组名称。具体点说，以上一小节的示例DataFrame为例，其索引值为人的名字。你可以计算一个字符串长度的数组，更简单的方法是传入len函数:

print(people)
people.groupby(len).sum()

 将函数跟数组、列表、字典、Series混合使用也不是问题，因为任何东西在 内部都会被转换为数组:

key_list = ['one', 'one', 'one', 'two', 'two']
people.groupby([len, key_list]).min()

 

 

6. 根据索引级别分组

层次化索引数据集最方便的地方就在于它能够根据轴索引的一个级别进行聚合:

columns = pd.MultiIndex.from_arrays([['US', 'US', 'US', 'JP', 'JP'],
                                    [1, 3, 5, 1, 3]],
                                    names=['cty', 'tenor'])
hier_df = pd.DataFrame(np.random.randn(4, 5), columns=columns)
hier_df

要根据级别分组，使用level关键字传递级别序号或名字:

hier_df.groupby(level='cty', axis=1).count()