写在前面
本文内容源自datawhale 组队学习教程,感兴趣可了解更多:https://github.com/datawhalechina/team-learning/tree/master/Pandas%E6%95%99%E7%A8%8B%EF%BC%88%E4%B8%8A%EF%BC%89
分组
一、SAC过程
- 内涵
SAC指的是分组操作中的split-apply-combine过程
其中split指基于某一些规则,将数据拆成若干组,apply是指对每一组独立地使用函数,combine指将每一组的结果组合成某一类数据结构 - apply过程
在该过程中,我们实际往往会遇到四类问题:
整合(Aggregation)——即分组计算统计量(如求均值、求每组元素个数)
变换(Transformation)——即分组对每个单元的数据进行操作(如元素标准化)
过滤(Filtration)——即按照某些规则筛选出一些组(如选出组内某一指标小于50的组)
综合问题——即前面提及的三种问题的混合
二、groupby函数 - 分组函数的基本内容:
(a)根据某一列分组
1.问题
【问题一】 什么是fillna的前向/后向填充,如何实现?
采用method 可以实现
向前和向后填充,使用 ffill和 bfill
fillna(method='ffill')
fillna(method='bfill')
【问题二】 下面的代码实现了什么功能?请仿照设计一个它的groupby版本。
s = pd.Series ([0, 1, 1, 0, 1, 1, 1, 0])
s1 = s.cumsum()
result = s.mul(s1).diff().where(lambda x: x < 0).ffill().add(s1,fill_value =0)
【问题三】 如何计算组内0.25分位数与0.75分位数?要求显示在同一张表上。
def R1(x):
return np.percentile(x,25)
def R2(x):
return np.percentile(x,75)
print(grouped_single.agg(percentile_25=pd.NamedAgg(column='Math',aggfunc=R1),
percentile_75=pd.NamedAgg(column='Math', aggfunc=R2)))
【问题四】 既然索引已经能够选出某些符合条件的子集,那么filter函数的设计有什么意义?
根据要求过滤出更大的整体子集
【问题五】 整合、变换、过滤三