pandas Task3分组

加载数据

1 SAC过程

1.1 内涵

• SAC指的是分组操作中的split-apply-combine过程
• 其中split指基于某一些规则，将数据拆成若干组，apply是指对每一组独立地使用函数，combine指将每一组的结果组合成某一类数据结构

1.2 apply过程

在该过程中，我们实际往往会遇到四类问题：

• 整合（Aggregation）——即分组计算统计量（如求均值、求每组元素个数）
• 变换（Transformation）——即分组对每个单元的数据进行操作（如元素标准化）
• 过滤（Filtration）——即按照某些规则筛选出一些组（如选出组内某一指标小于50的组）
• 综合问题——即前面提及的三种问题的混合

2 groupby函数

2.1 分组函数的基本内容：

• （a）根据某一列分组
  
• （b）根据某几列分组
  
• （c）组容量与组数
  
• （d）组的遍历
  
• （e）level参数（用于多级索引）和axis参数
  

2.2 groupby对象的特点

• （a）查看所有可调用的方法
• 由此可见，groupby对象可以使用相当多的函数，灵活程度很高
  
• （b）分组对象的head和first
• 对分组对象使用head函数，返回的是每个组的前几行，而不是数据集前几行
  
• first显示的是以分组为索引的每组的第一个分组信息
  
• （c）分组依据
• 对于groupby函数而言，分组的依据是非常自由的，只要是与数据框长度相同的列表即可，同时支持函数型分组
  
• 从原理上说，我们可以看到利用函数时，传入的对象就是索引，因此根据这一特性可以做一些复杂的操作
  
• 根据奇偶行分组
  
• 如果是多层索引，那么lambda表达式中的输入就是元组，下面实现的功能为查看两所学校中男女生分别均分是否及格
• 注意：此处只是演示groupby的用法，实际操作不会这样写
  
• （d）groupby的[]操作
• 可以用[]选出groupby对象的某个或者某几个列，上面的均分比较可以如下简洁地写出：
  
• 用列表可选出多个属性列：
  
• （e）连续型变量分组
• 例如利用cut函数对数学成绩分组：
  

3 聚合、过滤和变换

3.1 聚合（Aggregation）

• （a）常用聚合函数
• 所谓聚合就是把一堆数，变成一个标量，因此mean/sum/size/count/std/var/sem/describe/first/last/nth/min/max都是聚合函数
• 为了熟悉操作，不妨验证标准误sem函数，它的计算公式是：组内标准差/√组容量，下面进行验证：
  
• （b）同时使用多个聚合函数
  
• 利用元组进行重命名
  
• 指定哪些函数作用哪些列
  
• （c）使用自定义函数
  
• 官方没有提供极差计算的函数，但通过agg可以容易地实现组内极差计算
  
• （d）利用NamedAgg函数进行多个聚合
• 注意：不支持lambda函数，但是可以使用外置的def函数
  
• （e）带参数的聚合函数
• 判断是否组内数学分数至少有一个值在50-52之间：
  
• 如果需要使用多个函数，并且其中至少有一个带参数，则使用wrap技巧：
  

3.2 过滤（Filteration）

• filter函数是用来筛选某些组的（务必记住结果是组的全体），因此传入的值应当是布尔标量
  

3.3 变换（Transformation）

• （a）传入对象
• transform函数中传入的对象是组内的列，并且返回值需要与列长完全一致
  
• 如果返回了标量值，那么组内的所有元素会被广播为这个值

• （b）利用变换方法进行组内标准化
  
• （c）利用变换方法进行组内缺失值的均值填充
  

4 apply函数

4.1 apply函数的灵活性

• 可能在所有的分组函数中，apply是应用最为广泛的，这得益于它的灵活性：
• 对于传入值而言，从下面的打印内容可以看到是以分组的表传入apply中：
  
• apply函数的灵活性很大程度来源于其返回值的多样性：
• ① 标量返回值
  
• ② 列表返回值
  
• ③ 数据框返回值
  

4.2 用apply同时统计多个指标

• 此处可以借助OrderedDict工具进行快捷的统计：
  

5 问题与练习