数据聚合与分组运算

数据聚合与分组运算

分组与聚合的原理

• 分组：使用特定的条件将原数据划分为多个组
• 聚合：对每个分组中的数据执行某些操作（如聚合、转换等），最后将计算的结果进行整合
• 分组和聚合的步骤分为三步：
• 1. 拆分：将数据集按照一些标准拆分成若干个组，拆分操作是在指定轴上进行的，既可以对横轴方向上的数据进行分组，也可以对纵轴上的数据进行分组
• 2. 应用：将某个函数或方法应用到每个分组
• 3. 合并：将产生的新值整合到结果对象中

通过gropby()方法将数据拆分成组

• df1.groupby(
  by=None,
  axis=0,
  level=None,
  as_index=True,
  sort=True,
  group_keys=True,
  squeeze=False,
  observed=False,
  **kwargs,
  )

1. by=None:用于确定分组的依据
2. axis:表示分组的轴的方向，可以为0或1，默认为0
3. level:如果某个轴是一个MultiIndex对象，则会按照特定级别或多个级别分组
4. as_index:表示聚合后的数据是否以组标签作为索引的DataFrame对象输出，接受布尔值，默认为True
5. sort：表示是否对分组标签进行排序，接受布尔值，默认为True

• by参数接收的数据，也就是常见的分组方式有以下四种：

• 列表或数组，其长度必须与待分组的轴一样
• DataFrame对象中某列的名称
• 字典或者series对象，给出待分组轴上的值与分组名称之间的对应关系
• 函数，用于处理轴索引或索引中的各个标签

通过列名进行分组

• 在pandas对象中，如果他的某一列数据满足不同的划分标准，则可以将该列当作分组键来拆分数据集。

df1 = pd.DataFrame({'KEY':['C','B','C','A','B','B','A','C','A'],
                   'DATA':[2,4,6,8,10,1,14,16,18]})
df1
KEY	DATA
0	C	2
1	B	4
2	C	6
3	A	8
4	B	10
5	B	1
6	A	14
7	C	16
8	A	18
gp = df1.groupby(by='KEY') #通过KEY进行分组
<pandas.core.groupby.generic.DataFrameGroupBy object at 0x00000296D65FEB08> 
for i in gp:     # 通过groupby分组后的数据是DataFrameGroupBy类型，需要遍历
    print(i)
('A',   KEY  DATA
3   A     8
6   A    14
8   A    18)
('B',   KEY  DATA
1   B     4
4   B    10
5   B     1)
('C',   KEY  DATA
0   C     2
2   C     6
7   C    16)