python实现报表的分组统计_Python 分组处理

在日常数据分析时，经常会遇到需要按列分组 (groupby) 的任务，如计算某公司各部门的人数，计算各部门男女平均工资，计算不同年代的员工的平均工资等等。在进行这类运算时，Pandas 提供了 groupby 函数，大多数问题它都可以解决，但有一些问题使用 groupby 函数会略显麻烦，下面我们就这些问题展开细致的讨论。

groupby 是 pandas 中非常重要的一个函数, 主要用于数据分类和聚合计算. 其思想是“split-apply-combine”(拆分 - 应用 - 合并)，如下图：

分组原理图

一、单列分组聚合

单列分组聚合是指把某一列作为键进行分组，然后对各组进行聚合运算。

它是上述分组原理的最简单应用，比如根据员工信息数据，计算各部门员工数。

问题分析：要计算各部门员工数，首先把部门作为键进行分组，然后对各组成员进行计数。

部分员工信息数据如下：

Python代码

讨论：groupby(‘DEPT’) 将数据按照部门分组， count() 函数进行计数。

二、多列分组聚合

多列分组聚合是指把多列的值同时作为键进行分组，然后对各组进行聚合运算。

它和单列分组聚合类似，只是分组的键是多列组合而已。如根据员工信息数据，计算各部门男女员工的平均工资。

继续使用上例中的员工信息数据

问题分析：需要分组的键有两个，分别是部门和性别，只要把他们组合起来看作是一个键，然后当做单列分组聚合即可。

Python 代码

讨论：groupby(['DEPT','GENDER'])，分组的两列以列表的形式作为参数，as_index 表示是否把分组列作为索引，True 表示作为索引，这里使用 False 表示不作为索引。使用 mean() 函数计算工资的平均值。

三、根据衍生列分组聚合

根据衍生列分组聚合，是指需要分组的键并不直接在数据中，需要根据数据计算出一列新数据，把它作为键对数据进行分组。如计算不同年代的员工的平均工资。

问题分析：员工信息数据中并没有年代这一列，因此需要根据员工的生日列计算出来，把它作为键对员工数据进行分组，然后再求工资均值。

Python 代码

讨论：年代数据在原数据中并不存在，使用 np.floor((employee['BIRTHDAY'].dt.year-1900)/10) 计算出衍生列表示年代，然后根据他分组并计算平均工资。

四、多个聚合

多个聚合，是指分组后对单列或者多列进行多种聚合。

(一)   多列单聚合

多列单聚合，指同时对多列聚合，但每列使用一种聚合方式。如：同时计算各部门员工的人数，平均工资。

问题分析：求员工人数可以对 EID 计数，求平均工资需要对工资列求均值，两列聚合但每列只用一种聚合方式。

Python 代码

讨论：Pandas 的 agg()函数可以完成这类任务，各列以及各列的聚合方式以字典的形式作为参数传入 agg()，聚合的列作为字典的键，聚合方式作为字典的值，从而完成聚合运算。

(二)   单列多聚合

单列多聚合，指只对一列聚合，但聚合的方式有多种。如上述问题也可以直接对工资计数并求平均，此时是对工资进行了两种聚合——计数和平均。

Python 代码

讨论：如果是单列的不同聚合方式，则可以把聚合方式进行组合以列表的形式作为参数传入 agg()。

(三)   多列多聚合

多列多聚合，指对多列聚合同时也包含单列多聚合的组合聚合方式。聚合方式还可以是自己定义的函数，

如：计