数据聚合与分组运算

标注：我用的是jupyterNotebook

一、分组与聚合的原理

在Pandas中，分组是指使用特定的条件将原数据划分为多个组，聚合在这里指的是，对每个分组中的数据执行某些操作，最后将计算的结果进行整合。

分组与聚合的过程大概分为以下三步：

二、通过groupby方法将数据拆分成组

1、在Pandas中，可以通过groupby()方法将数据集按照某些标准划分成若干个组。

groupby(by=None, axis=0, level=None, as_index=True, sort=True,group_keys=True, squeeze=False, observed=False, **kwargs)

• by：用于确定进行分组的依据。
• axis：表示分组轴的方向。
• sort：表示是否对分组标签进行排序，接收布尔值，默认为True。

2、groupby()方法会返回一个GroupBy对象，该对象实际上并没有进行任何计算，只是包含一些关于分组键的中间数据而已。

• 使用 Series 调用 groupby() 方法返回的是 SeriesGroupBy 对 象 。

• 使 用 DataFrame 调用 groupby() 方法返回的是 DataFrameBy 对象。

 3、通过groupby()方法的by参数可以指定按什么标准分组，该参数可以接收的数据主要有以下4种：

（1） 按列名进行分组

data = df.groupby(by = '身高(cm)')
# 遍历分组对象
for i in data:
    print(i)
#list(data)

 结果：

 （2）按Series对象进行分组

arr = pd.Series(['a','b','c','d','e','f','g'])
# 按自定义Series对象进行分组
group_obj = df.groupby(by=arr)
list(group_obj)

 结果：

 如果Series对象与Pandas对象的索引长度不相同时，则只会将具有相同索引的部分数据进行分组。

df = se = pd.Series(['a', 'a', 'b'])
group_obj = df.groupby(se)['one', 'two', 'one','two', 'one'],
    'data1': [2, 3, 4, 6, 8],
    'data2': [3, 5, 6, 3, 7]})
se = pd.Series(['a', 'a', 'b'])
group_obj = df.groupby(se)

 （3）按字典进行分组

mapping = {'a':'第一组','b':'第二组','c':'第一组','d':'第三组','e':'第二组'}
by_column = num_df.groupby(mapping, axis=1)

（4）按函数进行分组

将函数作为分组键会更加灵活，任何一个被当做分组键的函数都会在各个索引值上被调用一次，返回的值会被用作分组名称。

# 使用内置函数len进行分组
groupby_obj = df.groupby(len)

三、数据聚合

1、获取最大值和最小值的max()和mix()，这些方法常用于简单地聚合分组中的数据。

#进行分组，求每个分组的平均值
data = df.groupby(by = '身高(cm)').mean()
data

结果：

 2、对每一列数据应用同一个函数

如果内置方法无法满足聚合要求时，则可以自定义函数，将它作为参数传给agg()方法，实现Pandas对象的聚合运算。

def dfs(arr):
    return arr.max()-arr.min()
data.agg(dfs)

结果：

 3、对某列数据应用不同的函数

可以将两个函数的名称放在列表中，之后在调用agg()方法进行聚合时作为参数传入即可

#对一列数据用函数聚合
data.agg([dfs,sum])

结果：

 4、对不同列数据应用不同函数

如果希望对不同的列使用不同的函数，则可以在agg()方法中传入一个{"列名":"函数名"}格式的字典。

data_group.agg({'a': 'sum', 'b': 'mean', 'c': range_data_group})

四、分组及运算

1、数据转换

如果希望保持与原数据集形状相同，那么可以通过transfrom()方法实现。

格式如下：

transform(func, *args, **kwargs)

• 上述方法中只有一个 func 参数，表示操作 Pandas 对象的函数。

• transfrom () 方法会把 func 函数应 用 到 各 个分组中，并且 将 计算 结 果放在适当的位置上 。

transform()方法返回的结果有两种，一种是可以广播的标量值（np.mean），另一种可以是与分组大小相同的结果数组。

2、数据应用

apply()方法的使用是十分灵活的，它可以在许多标准用例中替代聚合和转换，另外还可以处理一些比较特殊的用例。

格式如下：

apply(func, axis=0, broadcast=None, raw=False, reduce=None,result_type=None, args=(), **kwds)

• func：表示应用于某一行或某一列的函数。
• axis：表示函数操作的轴向。
• broadcast：表示是否将数据进行广播。