pandas学习第3章--分组

import numpy as np
import pandas as pd
df = pd.read_csv('data/table.csv',index_col='ID')
df.head()

一 、SAC过程

1. 内涵

SAC指的是分组操作中的split-apply-combine过程

其中split指基于某一些规则，将数据拆成若干组，apply是指对每一组独立地使用函数，combine指将每一组的结果组合成某一类数据结构

2. apply过程

在该过程中，我们实际往往会遇到4类问题：

（1）整合（Aggregation）——即分组计算统计量（如求均值、求每组元素个数）

（2）变换（Transformation）——即分组对每个单元的数据进行操作（如元素标准化）

（3）过滤（Filtration）——即按照某些规则筛选出一些组（如选出组内某一指标小于50的组）

（4）综合问题——即前面提及的三种问题的混合

二、groupby函数

1. 分组函数的基本内容

（1）根据某一列分组

#经过groupby后会生成一个groupby对象，该对象本身不会返回任何东西，
#只有当相应的方法被调用才会起作用
grouped_single = df.groupby('School')

#取出某一个组：
grouped_single.get_group('S_1').head()#取出内容为s_1的组

（2）根据某几列分组

grouped_mul = df.groupby(['School','Class'])
grouped_mul.get_group(('S_2','C_4'))

（3）组容量与组数

grouped_single.size()#Number of rows in each group.
grouped_mul.size()
grouped_single.ngroups
grouped_mul.ngroups

（4）组的遍历

#对所分组进行遍历，先打印一个组名，再显示此组的内容
for name,group in grouped_single:
    print(name)
    display(group.head())

（5）level参数（用于多级索引）和axis参数

#axis : {0 or 'index', 1 or 'columns'}, default 0
  #  Split along rows (0) or columns (1).
#level : int, level name, or sequence of such, default None
  #  If the axis is a MultiIndex (hierarchical), group by 
   #a particular level or levels.
    
df.set_index(['Gender','School']).groupby(level=1,axis=0).\
get_group('S_1').head()

2. groupby对象的特点

（1）查看所有可调用的方法

print([attr for attr in dir(grouped_single) if not\
 attr.startswith('_')])
#由此可见，groupby对象可以使用相当多的函数，灵活程度很高

（2）分组对象的head和first

对分组对象使用head函数，返回的是每个组的前几行，而不是数据集前几行

grouped_single.head(2)#返回每个组的前2行

first显示的是以分组为索引的每组的第一个分组信息

grouped_single.first()

（3）分组依据

对于groupby函数而言，分组的依据是非常自由的，只要是与数据框长度相同的列表即可，同时支持函数型分组

df.groupby(np.random.choice(['a','b','c'],df.shape[0])).\
get_group