《利用Python进行数据分析》第9章 groupby技术和数据聚合笔记

groupby技术和数据聚合

对数据集进行分组并对各组应用一个函数（无论是聚合还是转换），这是数据分析工作中的重要环节。在将数据集准备好之后，通常的任务就是计算分组统计或生成透视表

在本章中，你将会学到：
- 根据一个或多个键（可以是函数、数组或DataFrame列名）拆分pandas对象。
- 计算分组摘要统计，如计数、平均值、标准差，或用户自定义函数。
- 对DataFrame的列应用各种各样的函数。
- 应用组内转换或其他运算，如规格化、线性回归、排名或选取子集等。
- 计算透视表或交叉表。
- 执行分位数分析以及其他分组分析。

分组运算的第一个阶段，pandas对象（无论是Series、DataFrame还是其他的）中的数据会根据你所提供的一个或多个键被拆分（split）为多组。拆分操作是在对象的特定轴上执行的。例如，DataFrame可以在其行（axis=0）或列（axis=1）上进行分组。然后，将一个函数应用（apply）到各个分组并产生一个新值。最后，所有这些函数的执行结果会被合并（combine）到最终的结果对象中。结果对象的形式一般取决于数据上所执行的操作。图9-1大致说明了一个简单的分组聚合过程。

GroupBy技术

分组键可以有多种形式，且类型不必相同：

• 列表或数组，其长度与待分组的轴一样。

• 表示DataFrame某个列名的值。

• 字典或Series，给出待分组轴上的值与分组名之间的对应关系。

• 函数，用于处理轴索引或索引中的各个标签。

from pandas import Series,DataFrame
import pandas as pd
import numpy as np

df=DataFrame({
  'key1':['a','a','b','b','a'],'key2':['one','two','one','two','one'],
              'data1':np.random.randn(5),'data2':np.random.randn(5)})
df

按key1进行分组，并计算data1列的平均值。可以通过访问data1，并根据key1调用groupby

grouped=df['data1'].groupby(df['key1'])
grouped

<pandas.core.groupby.SeriesGroupBy object at 0x000000001052FDA0>

变量grouped是一个GroupBy对象,接下来调用GroupBy的mean方法来计算分组平均值

grouped.mean()

key1
a    0.597727
b    0.318738
Name: data1, dtype: float64

如果一次传入多个数组，会得到不同的结果

means=df['data1'].groupby([df['key1'],df['key2']]).mean()
means

key1  key2
a     one     0.595071
      two     0.603039
b     one    -0.077999
      two     0.715474
Name: data1, dtype: float64

上面通过两个键对数据进行了分组，得到的Series具有一个层次化索引（由唯一的键对组成），下面进行调换

means.unstack()

以上的例子中分组键都是Series。其实，分组键可以是任何长度适当的数组

states=np.array(['Ohio','California','California','Ohio','Ohio'])
years=np.array([2005,2005,2006,2005,2006])

states

array(['Ohio', 'California', 'California', 'Ohio', 'Ohio'],
      dtype='<U10')

years

array([2005, 2005, 2006, 2005, 2006])

df['data1'].groupby([states,years]).mean()

California  2005    0.603039
            2006   -0.077999
Ohio        2005    0.107602
            2006    1.690412
Name: data1, dtype: float64

可以使用列名的字符串、数字或其他Python对象用作分组键

df.groupby('key1').mean()

df.groupby(['key1','key2']).mean()

groupby的size方法,可以返回一个含有分组大小的Series

df.groupby(['