joyful pandas第3章 分组

最新推荐文章于 2022-08-29 12:58:36 发布
最新推荐文章于 2022-08-29 12:58:36 发布
阅读量276 收藏 2
点赞数
分类专栏： joyful_pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45661573/article/details/105762146
版权

joyful pandas第3章 分组

import numpy as np
import pandas as pd
df = pd.read_csv('table.csv',index_col='ID')
df.head()

一、SAC过程

1. 内涵

SAC指的是分组操作中的split-apply-combine过程
其中split指基于某一些规则，将数据拆成若干组，apply是指对每一组独立地使用函数，combine指将每一组的结果组合成某一类数据结构

2. apply过程

在该过程中，我们实际往往会遇到四类问题：
整合（Aggregation）——即分组计算统计量（如求均值、求每组元素个数）
变换（Transformation）——即分组对每个单元的数据进行操作（如元素标准化）
过滤（Filtration）——即按照某些规则筛选出一些组（如选出组内某一指标小于50的组）
综合问题——即前面提及的三种问题的混合

二、groupby函数

1. 分组函数的基本内容：

（a）根据某一列分组

grouped_single = df.groupby('School')

经过groupby后会生成一个groupby对象，该对象本身不会返回任何东西，只有当相应的方法被调用才会起作用
例如取出某一个组：

grouped_single.get_group('S_1').head()

在这里插入图片描述

（b）根据某几列分组

grouped_mul = df.groupby(['School','Class'])
grouped_mul.get_group(('S_2','C_4'))

在这里插入图片描述

（c）组容量与组数

grouped_single.size()

在这里插入图片描述

grouped_mul.size()

在这里插入图片描述

grouped_single.ngroups

在这里插入图片描述

grouped_mul.ngroups

在这里插入图片描述

（d）组的遍历

for name,group in grouped_single:
    print(name)
    display(group.head())

在这里插入图片描述

（e）level参数（用于多级索引）和axis参数

df.set_index(['Gender','School']).groupby(level=1,axis=0).get_group('S_1').head()

在这里插入图片描述

2. groupby对象的特点

（a）查看所有可调用的方法

由此可见，groupby对象可以使用相当多的函数，灵活程度很高

print([attr for attr in dir(grouped_single) if not attr.startswith('_')])

[‘Address’, ‘Class’, ‘Gender’, ‘Height’, ‘Math’, ‘Physics’, ‘School’, ‘Weight’, ‘agg’, ‘aggregate’, ‘all’, ‘any’, ‘apply’, ‘backfill’, ‘bfill’, ‘boxplot’, ‘corr’, ‘corrwith’, ‘count’, ‘cov’, ‘cumcount’, ‘cummax’, ‘cummin’, ‘cumprod’, ‘cumsum’, ‘describe’, ‘diff’, ‘dtypes’, ‘expanding’, ‘ffill’, ‘fillna’, ‘filter’, ‘first’, ‘get_group’, ‘groups’, ‘head’, ‘hist’, ‘idxmax’, ‘idxmin’, ‘indices’, ‘last’, ‘mad’, ‘max’, ‘mean’, ‘median’, ‘min’, ‘ndim’, ‘ngroup’, ‘ngroups’, ‘nth’, ‘nunique’, ‘ohlc’, ‘pad’, ‘pct_change’, ‘pipe’, ‘plot’, ‘prod’, ‘quantile’, ‘rank’, ‘resample’, ‘rolling’, ‘sem’, ‘shift’, ‘size’, ‘skew’, ‘std’, ‘sum’, ‘tail’, ‘take’, ‘transform’, ‘tshift’, ‘var’]

（b）分组对象的head和first

对分组对象使用head函数，返回的是每个组的前几行，而不是数据集前几行

grouped_single.head()

在这里插入图片描述

grouped_single.head(2) #每一个分组的前两个

在这里插入图片描述
first显示的是以分组为索引的每组的第一个分组信息

grouped_single.first()

在这里插入图片描述

（c）分组依据

对于groupby函数而言，分组的依据是非常自由的，只要是与数据框长度相同的列表即可，同时支持函数型分组

df.groupby(np.random.choice(['a','b','c'],df.shape[0])).get_group('a').head()
#相当于将np.random.choice(['a','b','c'],df.shape[0])当做新的一列进行分组

在这里插入图片描述
从原理上说，我们可以看到利用函数时，传入的对象就是索引，因此根据这一特性可以做一些复杂的操作

df[:5].groupby(lambda x:print(x)).head(0)

在这里插入图片描述
根据奇偶行分组

df.groupby(lambda x:'奇数行' if not df.index.get_loc(x)%2==1 else '偶数行').groups

在这里插入图片描述
如果是多层索引，那么lambda表达式中的输入就是元组，下面实现的功能为查看两所学校中男女生分别均分是否及格
注意：此处只是演示groupby的用法，实际操作不会这样写

math_score = df.set_index(['Gender','School'])['Math'].sort_index()
grouped_score = df.set_index(['Gender','School']).sort_index().\
            groupby(lambda x:(x,'均分及格' if math_score[x].mean()>=60 else '均分不及格'))
for name,_ in grouped_score:print(name)

在这里插入图片描述

（d）groupby的[]操作

可以用[]选出groupby对象的某个或者某几个列，上面的均分比较可以如下简洁地写出：

df.groupby(['Gender','School'])['Math'].mean()>=60

在这里插入图片描述
用列表可选出多个属性列：

df.groupby(['Gender','School'])[['Math','Height']].mean()

在这里插入图片描述

（e）连续型变量分组

例如利用cut函数对数学成绩分组：

bins = [0,40,60,80,90,100]
cuts = pd.cut(df['Math'],bins=bins) #可选label添加自定义标签
df.groupby(cuts)['Math'].count()

在这里插入图片描述

三、聚合、过滤和变换

1. 聚合（Aggregation）

（a）常用聚合函数

所谓聚合就是把一堆数，变成一个标量，因此mean/sum/size/count/std/var/sem/describe/first/last/nth/min/max都是聚合函数
为了熟悉操作，不妨验证标准误sem函数，它的计算公式是：组内标准差/(组容量)1/2，下面进行验证：

group_m = grouped_single['Math']
group_m.std().values/np.sqrt(group_m.count().values)== group_m.sem().values

在这里插入图片描述

（b）同时使用多个聚合函数

group_m.agg(['sum','mean','std'])

在这里插入图片描述
利用元组进行重命名

group_m.agg([('rename_sum','sum'),('rename_mean','mean')])

在这里插入图片描述
指定哪些函数作用哪些列

grouped_mul.agg({'Math':['mean','max'],'Height':'var'})

在这里插入图片描述

（c）使用自定义函数

grouped_single['Math'].agg(lambda x:print(x.head(),'间隔'))
#可以发现，agg函数的传入是分组逐列进行的，有了这个特性就可以做许多事情

在这里插入图片描述
官方没有提供极差计算的函数，但通过agg可以容易地实现组内极差计算

grouped_single['Math'].agg(lambda x:x.max()-x.min())

在这里插入图片描述

（d）利用NamedAgg函数进行多个聚合

注意：不支持lambda函数，但是可以使用外置的def函数

def R1(x):
    return x.max()-x.min()
def R2(x):
    return x.max()-x.median()
grouped_single['Math'].agg(min_score1=pd.NamedAgg(column='col1', aggfunc=R1),
                           max_score1=pd.NamedAgg(column='col2', aggfunc='max'),
                           range_score2=pd.NamedAgg(column='col3', aggfunc=R2)).head()

在这里插入图片描述

（e）带参数的聚合函数

判断是否组内数学分数至少有一个值在50-52之间：

def f(s,low,high):
    return s.between(low,high).any()
grouped_single['Math'].agg(f,50,52)

在这里插入图片描述
如果需要使用多个函数，并且其中至少有一个带参数，则使用wrap技巧：

def f_test(s,low,high):
    return s.between(low,high).max()
def agg_f(f_mul,name,*args,**kwargs):
    def wrapper(x):
        return f_mul(x,*args,**kwargs)
    wrapper.__name__ = name
    return wrapper
new_f = agg_f(f_test,'at_least_one_in_50_52',50,52)
grouped_single['Math'].agg([new_f,'mean']).head()

在这里插入图片描述

2. 过滤（Filteration）

filter函数是用来筛选某些组的（务必记住结果是组的全体），因此传入的值应当是布尔标量

grouped_single[['Math','Physics']].filter(lambda x:(x['Math']>32).all()).head()

在这里插入图片描述

3. 变换（Transformation）

（a）传入对象

transform函数中传入的对象是组内的列，并且返回值需要与列长完全一致

grouped_single[['Math','Height']].transform(lambda x:x-x.min()).head()

在这里插入图片描述
如果返回了标量值，那么组内的所有元素会被广播为这个值

grouped_single[['Math','Height']].transform(lambda x:x.mean()).head()

在这里插入图片描述

（b）利用变换方法进行组内标准化

grouped_single[['Math','Height']].transform(lambda x:(x-x.mean())/x.std()).head()

在这里插入图片描述

（c）利用变换方法进行组内缺失值的均值填充

df_nan = df[['Math','School']].copy().reset_index()
df_nan.loc[np.random.randint(0,df.shape[0],25),['Math']]=np.nan
df_nan.head()

在这里插入图片描述

df_nan.groupby('School').transform(lambda x: x.fillna(x.mean())).join(df.reset_index()['School']).head()

在这里插入图片描述

四、apply函数

1. apply函数的灵活性

可能在所有的分组函数中，apply是应用最为广泛的，这得益于它的灵活性：
对于传入值而言，从下面的打印内容可以看到是以分组的表传入apply中：

df.groupby('School').apply(lambda x:print(x.head(1)))

在这里插入图片描述
apply函数的灵活性很大程度来源于其返回值的多样性：

① 标量返回值

df[['School','Math','Height']].groupby('School').apply(lambda x:x.max())

在这里插入图片描述

② 列表返回值

df[['School','Math','Height']].groupby('School').apply(lambda x:x-x.min()).head()

在这里插入图片描述

③ 数据框返回值

df[['School','Math','Height']].groupby('School')\
    .apply(lambda x:pd.DataFrame({'col1':x['Math']-x['Math'].max(),
                                  'col2':x['Math']-x['Math'].min(),
                                  'col3':x['Height']-x['Height'].max(),
                                  'col4':x['Height']-x['Height'].min()})).head()

在这里插入图片描述

2. 用apply同时统计多个指标

此处可以借助OrderedDict工具进行快捷的统计：

from collections import OrderedDict
def f(df):
    data = OrderedDict()
    data['M_sum'] = df['Math'].sum()
    data['W_var'] = df['Weight'].var()
    data['H_mean'] = df['Height'].mean()
    return pd.Series(data)
grouped_single.apply(f)

在这里插入图片描述

五、问题与练习

1. 问题

【问题一】 什么是fillna的前向/后向填充，如何实现？

# 向前和向后填充,使用 ffill和 bfill
# fillna(method='ffill')
# fillna(method='bfill')

【问题二】 下面的代码实现了什么功能？请仿照设计一个它的groupby版本。

s = pd.Series ([0, 1, 1, 0, 1, 1, 1, 0])
s1 = s.cumsum()
result = s.mul(s1).diff().where(lambda x: x < 0).ffill().add(s1,fill_value =0)

【问题三】 如何计算组内0.25分位数与0.75分位数？要求显示在同一张表上。

# 中位数 print(np.median(a))
# 25%分位数 print(np.percentile(a, 25))
# 75%分位数 print(np.percentile(a, 75))
def per_25(x):
    return np.percentile(x,25)
def per_75(x):
    return np.percentile(x,75)
print(grouped_single.agg(percentile_25=pd.NamedAgg(column='Math',aggfunc=per_25),
						percentile_75=pd.NamedAgg(column='Math', aggfunc=per_75)))

在这里插入图片描述
【问题四】 既然索引已经能够选出某些符合条件的子集，那么filter函数的设计有什么意义？

【问题五】 整合、变换、过滤三者在输入输出和功能上有何异同？
【问题六】 在带参数的多函数聚合时，有办法能够绕过wrap技巧实现同样功能吗？
2. 练习
【练习一】： 现有一份关于diamonds的数据集，列分别记录了克拉数、颜色、开采深度、价格，请解决下列问题：

diamond = pd.read_csv('Diamonds.csv')
diamond.head()

在这里插入图片描述
(a) 在所有重量超过1克拉的钻石中，价格的极差是多少？

dim = diamond.query("carat>1")["price"]
dim.max() - dim.min()

在这里插入图片描述

(b) 若以开采深度的0.2\0.4\0.6\0.8分位数为分组依据，每一组中钻石颜色最多的是哪一种？该种颜色是组内平均而言单位重量最贵的吗？

#b
bins = diamond['depth'].quantile(np.linspace(0,1,6)).tolist()
cuts = pd.cut(diamond['depth'],bins=bins) #可选label添加自定义标签
diamond['cuts'] = cuts
diamond.head()

在这里插入图片描述

#b
color_result = diamond.groupby('cuts')['color'].describe()
color_result

在这里插入图片描述

#b
diamond['均重价格']=diamond['price']/diamond['carat']
color_result['top'] == [i[1] for i in diamond.groupby(['cuts','color'])['均重价格'].mean().groupby(['cuts']).idxmax().values]

在这里插入图片描述

© 以重量分组(0-0.5,0.5-1,1-1.5,1.5-2,2+)，按递增的深度为索引排序，求每组中连续的严格递增价格序列长度的最大值。
(d) 请按颜色分组，分别计算价格关于克拉数的回归系数。（单变量的简单线性回归，并只使用Pandas和Numpy完成）
【练习二】：有一份关于美国10年至17年的非法药物数据集，列分别记录了年份、州（5个）、县、药物类型、报告数量，请解决下列问题：

dg = pd.read_csv('Drugs.csv')
dg.head()

在这里插入图片描述
(a) 按照年份统计，哪个县的报告数量最多？这个县所属的州在当年也是报告数最多的吗？

idx = pd.IndexSlice
for i in range(2010,2018):
    county = (dg.groupby(['COUNTY','YYYY']).sum().loc[idx[:,i],:].idxmax()[0][0])
    state = dg.query('COUNTY == "%s"'%county)['State'].iloc[0]
    state_true = dg.groupby(['State','YYYY']).sum().loc[idx[:,i],:].idxmax()[0][0]
    if state==state_true:
        print('在%d年，%s县的报告数最多，它所属的州%s也是报告数最多的'%(i,county,state))
    else:
        print('在%d年，%s县的报告数最多，但它所属的州%s不是报告数最多的，%s州报告数最多'%(i,county,state,state_true))

在这里插入图片描述

(b) 从14年到15年，Heroin的数量增加最多的是哪一个州？它在这个州是所有药物中增幅最大的吗？若不是，请找出符合该条件的药物。

dg_b = dg[(dg['YYYY'].isin([2014,2015]))&(dg['SubstanceName']=='Heroin')]
dg_add = dg_b.groupby(['YYYY','State']).sum()
(dg_add.loc[2015]-dg_add.loc[2014]).idxmax()

在这里插入图片描述

dg_b = dg[(dg['YYYY'].isin([2014,2015]))&(dg['State']=='OH')]
dg_add = dg_b.groupby(['YYYY','SubstanceName']).sum()
#这里利用了索引对齐的特点
display((dg_add.loc[2015]-dg_add.loc[2014]).idxmax()) 
display((dg_add.loc[2015]/dg_add.loc[2014]).idxmax())

在这里插入图片描述

Reference

https://github.com/datawhalechina/joyful-pandas

DA之路
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
joyful pandas第1章 Pandas基础
weixin_45661573的博客
04-20 536
第1章 Pandas基础Learning Objective理论部分一、文件读取与写入1. 读取（a）csv格式（b）txt格式（c）xls或xlsx格式2. 写入（a）csv格式（b）xls或xlsx格式 Learning Objective Task01：Pandas基础（1天） 理论部分 掌握常见文件格式的读写操作 理解并熟悉 Series 和 DataFrame 的重要属性和重要方法 掌...
Pandas初学练手必备的40+个教程、习题合集
02-10 546
有配套数据集，可以一键跑通练手
告别痛苦，快乐学习Pandas！开源教程《Joyful-Pandas》发布
Datawhale
04-20 2555
Datawhale作者：耿远昊、Datawhale团队寄语：Pandas 是基于Numpy的一种工具，是为了解决数据分析任务而创建的，其纳入了大量库和一些标准的数据模型，提供了大量能...
Joyful-Pandas：第1章 Pandas基础
sinat_38059712的博客
04-20 673
第1章 Pandas基础本章思维导图本章问题与练习 本章思维导图 本章问题与练习 【练习一】 现有一份关于美剧《权力的游戏》剧本的数据集，请解决以下问题： （a）在所有的数据中，一共出现了多少人物？ print(df['Name'].nunique()) # 564 （b）以单元格计数（即简单把一个单元格视作一句），谁说了最多的话？ print(df['Name'].value_co...
Datawhale-Pandas中文教程[3]
最新发布
宁晨的博客
08-29 258
Datawhale的Pandas中文教程[3]
Elasticsearch-索引操作
小城我家
11-23 215
创建索引库 Elasticsearch采用Rest风格API，因此其API就是一次http请求，你可以用任何工具发起http请求 PUT /索引名称 { "settings": { "属性名": "属性值" } } settings：就是索引库设置，其中可以定义索引库的各种属性 比如分片数 副本数 put /my-company-index { “acknowledged” : true, “shards_acknowledged” : true, “index” : “my-company-inde
【Joyful-Pandas】第三章-数据集
03-18
总的来说，`Joyful-Pandas`第三章的这两个数据集提供了学习和实践Pandas功能的宝贵机会。通过导入、探索、清洗和分析`company.csv`和`chocolate.csv`，读者可以提升自己的数据分析技能，同时加深对Pandas库的理解，...
【Joyful-Pandas】第二章-数据集
03-18
Joyful-Pandas：第二章 my_excel.xlsx my_csv.csv my_table.txt my_table_special_sep.txt learn_pandas.csv pokemon.csv
joyful-pandas:pandas中文教程
04-12
Joyful-Pandas 请在使用教程前确认pandas版本不低于1.2.0 网页版 大纲 论坛 文件内容 data：数据集 ebook：教程电子版 notebook：教程notebook版 参考资料 Wes McKinney着 Theodore Petrou着 Pandas开发团队编写 ...
Pandas语法笔记（三）索引--多级索引
qq_36744449的博客
05-14 3177
http://joyfulpandas.datawhale.club/Content/index.html 第三章 索引 二、多级索引 1. 多级索引及其表的结构 为了更加清晰地说明具有多级索引的 DataFrame 结构，下面新构造一张表，读者可以忽略这里的构造方法，它们将会在第4小节被更详细地讲解。 In [70]: np.random.seed(0) In [71]: multi_index = pd.MultiIndex.from_product([list('ABCD'), ....:
pandas学习 task09
qq_41834327的博客
01-07 217
import pandas as pd import numpy as np cat对象 cat对象的属性 pandas提供了category类型以便于用户处理分类类型的变量,将一个序列转换成分类变量可以使用astype方法.分类类型的Series中定义了cat对象,该对象类似于str定义了一些属性和方法来进行分类类别的操作.对于一个具体的分类,有两个组成部分,其一为类别的本身,它以Index类型存储,其二为是否有序,它们都可以通过cat的属性被访问.除此之外,每一个序列的类别都会被赋予唯一的整数编号,它
python第三章：03 pandas索引和常用操作
weixin_44576834的博客
12-01 196
pandas 的索引 索引是非常重要的一个功能，使用索引我们就可以对数据进行选取和筛选 四种索引形式： 使用位置做索引 使用列表做索引 使用切片做索引 使用bool类型索引 ** A、选取行: ** 使用 loc 或者 iloc 函数来实现 import pandas as pd filepath = '销售客户信息.xlsx' df = pd.read_excel(filepath) df 用户ID 注册时间 性别
自定义多参数聚合函数
上善若水 的专栏
10-15 1851
功能要求：取分组内某个参数最大或最小时，取另外一个参数的值。步骤：1. 定义一个自定义的数据类型，2. 定义一个构造该数据类型的函数3. 定义一个接受自定义数据类型的聚合函数类型定义：using System; using System.Data; using System.Data.SqlClient; using System.Data.SqlTypes; using Microsoft.SqlServer.Server; using System.Runtime.InteropService
Pandas分组、聚合、过滤操作全面解析！
OuDiShenmiss的博客
04-26 4461
思维导图 >>> import numpy as np >>> import pandas as pd >>> df = pd.read_csv('data/table.csv',index_col='ID') >>> df.head() 一、SAC过程 1. 内涵 SAC指的是分组操作中的split-apply-combi...
Datawhale--组队学习第12期--pandas基础学习---第3章 分组
weixin_44064434的博客
04-26 154
第3章 分组 import numpy as np import pandas as pd df = pd.read_csv(r'D:\86151\桌面\Datawhale\pandas\joyful-pandas-master\data\table.csv',index_col='ID') df.head() Unnamed: 0 Sc...
Pandas 数据分析-第三章（索引）
weixin_43074152的博客
08-05 1363
Pandas 数据分析-第三章（索引） pandas的索引对象负责管理周标签和其他元数据，构建Series或者DataFrame诗所用到的任何数组或其他序列的标签都会被转成一个index 举个
第3章 分组
韩绘锦的博客
04-26 711
第3章 分组 import numpy as np import pandas as pd df = pd.read_csv('data/table.csv',index_col='ID') df.head() School Class Gender Address Height Weig...
Pandas教程：数据加载与初步探索
"pandas学习-第二章：读取CSV数据并初步探索" 在这个学习章节中，我们将关注如何使用Python的pandas库来处理和分析数据。首先，我们导入了两个必要的库，`numpy`和`pandas`。`numpy`是Python科学计算的核心库，提供...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值