数据分析之Pandas分组操作总结

↑↑↑关注后"星标"Datawhale

每日干货 & 每月组队学习，不错过

 Datawhale干货 

作者：耿远昊，Datawhale成员

Pandas做分析数据，可以分为索引、分组、变形及合并四种操作。之前介绍过索引操作，现在接着对Pandas中的分组操作进行介绍：主要包含SAC含义、groupby函数、聚合、过滤和变换、apply函数。文章的最后，根据今天的知识介绍，给出了6个问题与2个练习，供大家学习实践。

在详细讲解每个模块之前，首先读入数据：

import numpy as np
import pandas as pd
df = pd.read_csv('data/table.csv',index_col='ID')
df.head()

SAC过程

1. 内涵

SAC指的是分组操作中的split-apply-combine过程。其中split指基于某一些规则，将数据拆成若干组；apply是指对每一组独立地使用函数；combine指将每一组的结果组合成某一类数据结构。

2. apply过程

在apply过程中，我们实际往往会遇到四类问题：

• 整合(Aggregation)：即分组计算统计量（如求均值、求每组元素个数）；

• 变换(Transformation)：即分组对每个单元的数据进行操作（如元素标准化）；

• 过滤(Filtration)：即按照某些规则筛选出一些组（如选出组内某一指标小于50的组）；

• 综合问题：即前面提及的三种问题的混合。

groupby函数

经过groupby后会生成一个groupby对象，该对象本身不会返回任何内容，只有当相应的方法被调用才会起作用。

1. 分组函数的基本内容：

• 根据某一列分组

• 根据某几列分组
  

• 组容量与组数
  

• 组的遍历

• level参数(用于多级索引)和axis参数

a). 根据某一列分组

grouped_single = df.groupby('School')

经过groupby后会生成一个groupby对象，该对象本身不会返回任何东西，只有当相应的方法被调用才会起作用。例如取出某一个组：

grouped_single.get_group('S_1').head()

b). 根据某几列分组

grouped_mul = df.groupby(['School','Class'])
grouped_mul.get_group(('S_2','C_4'))

c). 组容量与组数

调用的时候最好先根据size看下里面的内容，不然在get_group的时候可能会出错。

grouped_single.size()

grouped_mul.size()

grouped_single.ngroups
grouped_mul.ngroups

d). 组的遍历

for name,group in grouped_single:
    print(name)
    display(group.head())

e). level参数（用于多级索引）和axis参数

df.set_index(['Gender','School']).groupby(level=1,axis=0).get_group('S_1').head()

2. groupby对象的特点：

• 查看所有可调用的方法

• 分组对象的head 和first
  

• 分组依据
  

• groupby的[]操作
  

• 连续型变量分组

a). 查看所有可调用的方法

由此可见，groupby对象可以使用相当多的函数，灵活程度很高

print([attr for attr in dir(grouped_single) if not attr.startswith('_')])

b). 分组对象的head和first

对分组对象使用head函数，返回的是每个组的前几行，而不是数据集前几行

grouped_single.head(2)

first显示的是以分组为索引的每组的第一个分组信息

grouped_single.first()