datawhale Pandas Task 03分组

本文详细介绍了Pandas中的分组操作,包括SAC过程(Split-Apply-Combine)的概念,以及分组函数groupby的使用。讨论了分组操作中的整合、变换和过滤问题,并提出了一系列相关问题,如fillna的填充方式,组内分位数计算,filter函数的作用等。同时,提供了两个实战练习,涉及钻石价格分析和美国非法药物报告数据的探索,以加深对Pandas分组操作的理解。
摘要由CSDN通过智能技术生成

写在前面
本文内容源自datawhale 组队学习教程,感兴趣可了解更多:https://github.com/datawhalechina/team-learning/tree/master/Pandas%E6%95%99%E7%A8%8B%EF%BC%88%E4%B8%8A%EF%BC%89

分组
在这里插入图片描述

一、SAC过程

  1. 内涵
    SAC指的是分组操作中的split-apply-combine过程
    其中split指基于某一些规则,将数据拆成若干组,apply是指对每一组独立地使用函数,combine指将每一组的结果组合成某一类数据结构
  2. apply过程
    在该过程中,我们实际往往会遇到四类问题:
    整合(Aggregation)——即分组计算统计量(如求均值、求每组元素个数)
    变换(Transformation)——即分组对每个单元的数据进行操作(如元素标准化)
    过滤(Filtration)——即按照某些规则筛选出一些组(如选出组内某一指标小于50的组)
    综合问题——即前面提及的三种问题的混合
    二、groupby函数
  3. 分组函数的基本内容:
    (a)根据某一列分组
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    1.问题
    【问题一】 什么是fillna的前向/后向填充,如何实现?
    采用method 可以实现
向前和向后填充,使用 ffill和 bfill
fillna(method='ffill')
fillna(method='bfill')


【问题二】 下面的代码实现了什么功能?请仿照设计一个它的groupby版本。

s = pd.Series ([0, 1, 1, 0, 1, 1, 1, 0])
s1 = s.cumsum()
result = s.mul(s1).diff().where(lambda x: x < 0).ffill().add(s1,fill_value =0)

【问题三】 如何计算组内0.25分位数与0.75分位数?要求显示在同一张表上。

def R1(x):
    return np.percentile(x,25)
def R2(x):
    return np.percentile(x,75)
print(grouped_single.agg(percentile_25=pd.NamedAgg(column='Math',aggfunc=R1),
						percentile_75=pd.NamedAgg(column='Math', aggfunc=R2)))

【问题四】 既然索引已经能够选出某些符合条件的子集,那么filter函数的设计有什么意义?
根据要求过滤出更大的整体子集

【问题五】 整合、变换、过滤三

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值