pandas算加权平均值_pandas数据聚合与分组运算

对数据集进行分组并对各组应用一个函数(无论是聚合还是转换)，通常是数据分析工作中的重要环节。在将数据集加载、融合、准备好之后，通常就是计算分组统计或生成透视表。pandas提供了一个灵活高效的gruopby功能，它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。

关系型数据库和SQL(Structured Query Language，结构化查询语言)能够如此流行的原因之一就是其能够方便地对数据进行连接、过滤、转换和聚合。但是，像SQL这样的查询语言所能执行的分组运算的种类很有限。在本章中你将会看到，由于Python和pandas强大的表达能力，我们可以执行复杂得多的分组运算(利用任何可以接受pandas对象或NumPy数组的函数)。在本章中，你将会学到：

使用一个或多个键(形式可以是函数、数组或DataFrame列名)分割pandas对象。

计算分组的概述统计，比如数量、平均值或标准差，或是用户定义的函数。

应用组内转换或其他运算，如规格化、线性回归、排名或选取子集等。

计算透视表或交叉表。

执行分位数分析以及其它统计分组分析。

笔记：对时间序列数据的聚合(groupby的特殊用法之一)也称作重采样(resampling)，本书将在第11章中单独对其进行讲解。

GroupBy机制

Hadley Wickham(许多热门R语言包的作者)创造了一个用于表示分组运算的术语"split-apply-combine"(拆分－应用－合并)。第一个阶段，pandas对象(无论是Series、DataFrame还是其他的)中的数据会根据你所提供的一个或多个键被拆分(split)为多组。拆分操作是在对象的特定轴上执行的。例如，DataFrame可以在其行(axis=0)或列(axis=1)上进行分组。然后，将一个函数应用(apply)到各个分组并产生一个新值。最后，所有这些函数的执行结果会被合并(combine)到最终的结果对象中。结果对象的形式一般取决于数据上所执行的操作。图10-1大致说明了一个简单的分组聚合过程。

分组键可以有多种形式，且类型不必相同：

列表或数组，其长度与待分组的轴一样。

表示DataFrame某个列名的值。

字典或Series，给出待分组轴上的值与分组名之间的对应关系。

函数，用于处理轴索引或索引中的各个标签。

注意，后三种都只是快捷方式而已，其最终目的仍然是产生一组用于拆分对象的值。如果觉得这些东西看起来很抽象，不用担心，我将在本章中给出大量有关于此的示例。首先来看看下面这个非常简单的表格型数据集(以DataFrame的形式)：

import pandas as pd

df = pd.DataFrame({'key1' : ['a', 'a', 'b', 'b', 'a'],

'key2' : ['one', 'two', 'one', 'two', 'one'],

'data1' : np.random.randn(5),

'data2' : np.random.randn(5)})

df

key1key2data1data2

0

a

one

1.318468

0.764612

1

a

two

-0.670063

1.056639

2

b

one

-2.405182

0.665323

3

b

two

0.734192

0.436943

4

a

one

-0.591552

0.523801

假设你想要按key1进行分组，并计算data1列的平均值。实现该功能的方式有很多，而我们这里要用的是：访问data1，并根据key1调用groupby：

grouped = df['data1'].groupby(df['key1'])

grouped

变量grouped是一个GroupBy对象。它实际上还没有进行任何计算，只是含有一些有关分组键df[‘key1’]的中间数据而已。换句话说，该对象已经有了接下来对各分组执行运算所需的一切信息。例如，我们可以调用GroupBy的mean方法来计算分组平均值

grouped.mean()

key1

a 0.018951

b -0.835495

Name: data1, dtype: float64

稍后我将详细讲解.mean()的调用过程。这里最重要的是，数据(Series)根据分组键进行了聚合，产生了一个新的Series，其索引为key1列中的唯一值。之所以结果中索引的名称为key1，是因为原始DataFrame的列df[‘key1’]就叫这个名字。

如果我们一次传入多个数组的列表，就会得到不同的结果：

means = df['data1'].groupby([df['key1'], df['key2']]).mean()

means

key1 key2

a one 0.363458

two -0.670063

b one -2.405182

two 0.734192

Name: data1, dtype: float64

这里，我通过两个键对数据进行了分组，得到的Series具有一个层次化索引(由唯一的键对组成)：

means.unstack()

key2onetwo

key1

a

0.363458

-0.670063

b

-2.405182

0.734192

在这个例子中，分组键均为Series。实际上，分组键可以是任何长度适当的数组：

states = np.array(['Ohio', 'California', 'California', 'Ohio', 'Ohio'])

years = np.array([2005, 2005, 2006, 2005, 2006])

df['data1']

0 1.318468

1 -0.670063

2 -2.405182

3 0.734192

4 -0.591552

Name: data1, dtype: float64

df['data1'].groupby([states, years]).mean()

California 2005 -0.670063

2006 -2.405182

Ohio 2005 1.026330

2006 -0.591552

Name: data1, dtype: float64

通常，分组信息就位于相同的要处理DataFrame中。这里，你还可以将列名(可以是字符串、数字或其他Python对象)用作分组键：

df.groupby('key1').mean()

data1data2

key1

a

0.018951

0.781684

b

-0.835495

0.551133

df.groupby(['key1', 'key2']).mean()

data1data2

key1key2

aone

0.363458

0.644206

two

-0.670063

1.056639

bone

-2.405182

0.665323

two

0.734192

0.436943

你可能已经注意到了，第一个例子在执行df.groupby(‘key1’).mean()时，结果中没有key2列。这是因为df[‘key2’]不是数值数据(俗称“麻烦列”)，所以被从结果中排除了。默认情况下，所有数值列都会被聚合，虽然有时可能会被过滤为一个子集，稍后就会碰到。

无论你准备拿groupby做什么，都有可能会用到GroupBy的size方法，它可以返回一个含有分组大小的Series：

df.groupby(['key1', 'key2']).size()

key1 key2

a one 2

two 1

b one 1

two 1

dtype: int64

注意，任何分组关键词中的缺失值，都会被从结果中除去。

对分组进行迭代

GroupBy对象支持迭代，可以产生一组二元元组(由分组名和数据块组成)。看下面的例子：

for name, group in df.groupby('key1'):

print(name)

print(group)

a

key1 key2 data1 data2

0 a one 1.318468 0.764612

1 a two -0.670063 1.056639

4 a one -0.591552 0.523801

b

key1 key2 data1 data2

2 b one -2.405182 0.665323

3 b two 0.734192 0.436943

对于多重键的情况，元组的第一个元素将会是由键值组成的元组：

for (k1, k2), group in df.groupby(['key1', 'key2']):

print((k1, k2))

print(group)

('a', 'one')

key1 key2 data1 data2

0 a one 1.318468 0.764612

4 a one -0.591552 0.523801

('a', 'two')

key1 key2 data1 data2

1 a two -0.670063 1.056639

('b', 'one')

key1 key2 data1 data2

2 b one -2.405182 0.665323

('b', 'two')

key1 key2 data1 data2

3 b two 0.734192 0.436943

当然，你可以对这些数据片段做任何操作。有一个你可能会觉得有用的运算：将这些数据片段做成一个字典：

pieces = dict(list(df.groupby('key1')))

pieces['b']

key1key2data1data2

2

b

one

-2.405182

0.665323

3

b

two

0.734192

0.436943

groupby默认是在axis=0上进行分组的，通过设置也可以在其他任何轴上进行分组。拿上面例子中的df来说，我们可以根据dtype对列进行分组：

df.dtypes

key1 object

key2 object

data1 float64

data2 float64

dtype: object

grouped = df.groupby(df.dtypes, axis=1)

可以如下打印分组：

for dtype, group in grouped:

print(dtype)

print(group)

float64

data1 data2

0 1.318468 0.764612

1 -0.670063 1.056639

2 -2.405182 0.665323

3 0.734192 0.436943

4 -0.591552 0.523801

object

key1 key2

0 a one

1 a two

2 b one

3 b two

4 a one

选取一列或列的子集

对于由DataFrame产生的GroupBy对象，如果用一个(单个字符串)或一组(字符串数组)列名对其进行索引，就能实现选取部分列进行聚合的目的。也就是说：

df.groupby('key1')['data1']

df.groupby('key1')[['data2']]

是以下代码的语法糖：

df['data1'].groupby(df['key1'])

df[['data2']].groupby(df['key1'])

尤其对于大数据集，很可能只需要对部分列进行聚合。例如，在前面那个数据集中，如果只需计算data2列的平均值并以DataFrame形式得到结果，可以这样写：

df.groupby(['key1', 'key2'])[['data2']].mean()

data2

key1key2

aone

0.644206

two

1.056639

bone

0.665323

two

0.436943

这种索引操作所返回的对象是一个已分组的DataFrame(如果传入的是列表或数组)或已分组的Series(如果传入的是标量形式的单个列名)：

s_grouped = df.groupby(['key1', 'key2'])['data2']

s_grouped

s_grouped.mean()

key1 key2

a one 0.644206

two 1.056639

b one 0.665323

two 0.436943

Name: data2, dtype: float64

通过字典或Series进行分组

除数组以外，分组信息还可以其他形式存在。来看另一个示例DataFrame：

people = pd.DataFrame(np.random.randn(5, 5),

columns=['a', 'b', 'c', 'd', 'e'],

index=['Joe', 'Steve', 'Wes', 'Jim', 'Travis'])

people

abcde

Joe

1.037806

0.366019

-1.868240

-1.574181

1.229462

Steve

-0.537422

-0.149428

1.065657

1.193845

1.381285

Wes

-0.120145

-1.216974

0.690470

0.676304

-1.032362

Jim

-0.071084

1.278099

-0.060597

-0.354461

-0.118191

Travis

-0.285226

-0.894874

0.169473

1.330677

0.586171

people.iloc[2:3, [1, 2]] = np.nan # Add a few NA values

people

abcde

Joe

1.037806

0.366019

-1.868240

-1.574181

1.229462

Steve

-0.537422

-0.149428

1.065657

1.193845

1.381285

Wes

-0.120145

NaN

NaN

0.676304

-1.032362

Jim

-0.071084

1.278099

-0.060597

-0.354461

-0.118191

Travis

-0.285226

-0.894874

0.169473

1.330677

0.586171

现在，假设已知列的分组关系，并希望根据分组计算列的和：

mapping = {'a': 'red', 'b': 'red', 'c': 'blue',

'd': 'blue', 'e': 'red', 'f' : 'orange'}

现在，你可以将这个字典传给groupby，来构造数组，但我们可以直接传递字典(我包含了键“f”来强调，存在未使用的分组键是可以的)：

by_column = people.groupby(mapping, axis=1)

by_column

by_column.sum()

bluered

Joe

-3.442421

2.63328