读书记录——pandas中的分组方法groupby（二）

最新推荐文章于 2022-01-27 00:17:42 发布
最新推荐文章于 2022-01-27 00:17:42 发布
阅读量556 收藏
点赞数 1
分类专栏： 人工智能 文章标签： python pandas 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36893273/article/details/112327232
版权

续接读书记录——pandas中的分组方法groupby（一）。

6、逐级多列运用聚合函数

1)简单例子

#使用 小费数据集。进行测试
tips = pd.read_csv('/Users/daxu/vsCodePy/study_ws/pydata-book/examples/tips.csv')
# 增加维度属性，小费比例
tips['tip_pct'] = tips['tip'] / tips['total_bill']
#对 day 和 smoker 来进行分组
grouped = tips.groupby(['day', 'smoker'])
grouped_pct = grouped['tip_pct']
#如果传递的是函数或者函数名的列表，你会获得一个列名是这些函数名的DataFrame：
grouped_pct.agg(['std','mean',peak_to_peak])

	std	mean	peak_to_peak
day	smoker			
Fri	No	0.028123	0.151650	0.067349
Yes	0.051293	0.174783	0.159925
Sat	No	0.039767	0.158048	0.235193
Yes	0.061375	0.147906	0.290095
Sun	No	0.042347	0.160113	0.193226
Yes	0.154134	0.187250	0.644685
Thur	No	0.038774	0.160298	0.193350
Yes	0.039389	0.163863	0.151240

2)也可以给各个统计结果的列名重命名

grouped_pct.agg([('foo','std'),('foo1','mean'),('foo2',peak_to_peak)])
foo	foo1	foo2
day	smoker			
Fri	No	0.028123	0.151650	0.067349
Yes	0.051293	0.174783	0.159925
Sat	No	0.039767	0.158048	0.235193
Yes	0.061375	0.147906	0.290095
Sun	No	0.042347	0.160113	0.193226
Yes	0.154134	0.187250	0.644685
Thur	No	0.038774	0.160298	0.193350
Yes	0.039389	0.163863	0.151240

3)在多个列上面应用不同的函数

grouped_pct = grouped['tip_pct','total_bill']
#如果传递的是函数或者函数名的列表，你会获得一个列名是这些函数名的DataFrame：
result = grouped_pct.agg(['std','mean',peak_to_peak])
result

tip_pct	total_bill
std	mean	peak_to_peak	std	mean	peak_to_peak
day	smoker						
Fri	No	0.028123	0.151650	0.067349	5.059282	18.420000	10.29
Yes	0.051293	0.174783	0.159925	9.086388	16.813333	34.42
Sat	No	0.039767	0.158048	0.235193	8.939181	19.661778	41.08
Yes	0.061375	0.147906	0.290095	10.069138	21.276667	47.74
Sun	No	0.042347	0.160113	0.193226	8.130189	20.506667	39.40
Yes	0.154134	0.187250	0.644685	10.442511	24.120000	38.10
Thur	No	0.038774	0.160298	0.193350	7.721728	17.113111	33.68
Yes	0.039389	0.163863	0.151240	8.355149	19.190588	32.77

# 产生的DataFrame拥有分层列，与分别聚合每一列，再以列名作为keys参数使用concat将结果拼接在一起的结果相同：
result['tip_pct']

std	mean	peak_to_peak
day	smoker			
Fri	No	0.028123	0.151650	0.067349
Yes	0.051293	0.174783	0.159925
Sat	No	0.039767	0.158048	0.235193
Yes	0.061375	0.147906	0.290095
Sun	No	0.042347	0.160113	0.193226
Yes	0.154134	0.187250	0.644685
Thur	No	0.038774	0.160298	0.193350
Yes	0.039389	0.163863	0.151240

4)将不同的函数应用到一个或多个列上。要实现这个功能，需要将含有列名与函数对应关系的字典传递给agg：

grouped.agg({'tip': np.max, 'size':'sum'})
	tip	size
day	smoker		
Fri	No	3.50	9
Yes	4.73	31
Sat	No	9.00	115
Yes	10.00	104
Sun	No	6.00	167
Yes	6.50	49
Thur	No	6.70	112
Yes	5.00	40

result = grouped.agg({'tip_pct':['sum',np.max,'mean'],'size':'sum'})
result
tip_pct	size
sum	amax	mean	sum
day	smoker				
Fri	No	0.606602	0.187735	0.151650	9
Yes	2.621746	0.263480	0.174783	31
Sat	No	7.112145	0.291990	0.158048	115
Yes	6.212055	0.325733	0.147906	104
Sun	No	9.126438	0.252672	0.160113	167
Yes	3.557756	0.710345	0.187250	49
Thur	No	7.213414	0.266312	0.160298	112
Yes	2.785676	0.241255	0.163863	40

#只有多个函数应用于至少一个列时，DataFrame才具有分层列。
result['size']
	sum
day	smoker	
Fri	No	9
Yes	31
Sat	No	115
Yes	104
Sun	No	167
Yes	49
Thur	No	112
Yes	40

# 自动去掉了object类型的字段 ，并且 index模式是 分组列 ，不方便操作
index_group = tips.groupby(['day','smoker']).mean()
index_group

total_bill	tip	size	tip_pct
day	smoker				
Fri	No	18.420000	2.812500	2.250000	0.151650
Yes	16.813333	2.714000	2.066667	0.174783
Sat	No	19.661778	3.102889	2.555556	0.158048
Yes	21.276667	2.875476	2.476190	0.147906
Sun	No	20.506667	3.167895	2.929825	0.160113
Yes	24.120000	3.516842	2.578947	0.187250
Thur	No	17.113111	2.673778	2.488889	0.160298
Yes	19.190588	3.030000	2.352941	0.163863

4)不使用索引进行分组，调用reset_index()

index_group.reset_index()
day	smoker	total_bill	tip	size	tip_pct
0	Fri	No	18.420000	2.812500	2.250000	0.151650
1	Fri	Yes	16.813333	2.714000	2.066667	0.174783
2	Sat	No	19.661778	3.102889	2.555556	0.158048
3	Sat	Yes	21.276667	2.875476	2.476190	0.147906
4	Sun	No	20.506667	3.167895	2.929825	0.160113
5	Sun	Yes	24.120000	3.516842	2.578947	0.187250
6	Thur	No	17.113111	2.673778	2.488889	0.160298
7	Thur	Yes	19.190588	3.030000	2.352941	0.163863

大多数情况下可以通过向groupby传递as_index=False来禁用分组键作为索引的行为：

tips.groupby(['day','smoker'], as_index=False).mean()
day	smoker	total_bill	tip	size	tip_pct
0	Fri	No	18.420000	2.812500	2.250000	0.151650
1	Fri	Yes	16.813333	2.714000	2.066667	0.174783
2	Sat	No	19.661778	3.102889	2.555556	0.158048
3	Sat	Yes	21.276667	2.875476	2.476190	0.147906
4	Sun	No	20.506667	3.167895	2.929825	0.160113
5	Sun	Yes	24.120000	3.516842	2.578947	0.187250
6	Thur	No	17.113111	2.673778	2.488889	0.160298
7	Thur	Yes	19.190588	3.030000	2.352941	0.163863
7、应用： 通用拆分-应用-联合 groupby的 apply应用

1)简单例子

def top(df, n=5, column='tip_pct'):
    return df.sort_values(by=column)[:n]
top(tips)
total_bill	tip	smoker	day	time	size	tip_pct
237	32.83	1.17	Yes	Sat	Dinner	2	0.035638
102	44.30	2.50	Yes	Sat	Dinner	3	0.056433
57	26.41	1.50	No	Sat	Dinner	2	0.056797
0	16.99	1.01	No	Sun	Dinner	2	0.059447
187	30.46	2.00	Yes	Sun	Dinner	5	0.065660

#我们使用groupby 分组，还可以得到每个组的 结果：
#这里发生了什么？top函数在DataFrame的每一行分组上被调用，之后使用pandas. concat将函数结果粘贴在一起，并使用分组名作为各组的标签。因此结果包含一个分层索引，该分层索引的内部层级包含原DataFrame的索引值

tips.groupby(['smoker']).apply(top)
total_bill	tip	smoker	day	time	size	tip_pct
smoker								
No	57	26.41	1.50	No	Sat	Dinner	2	0.056797
0	16.99	1.01	No	Sun	Dinner	2	0.059447
48	28.55	2.05	No	Sun	Dinner	3	0.071804
146	18.64	1.36	No	Thur	Lunch	3	0.072961
130	19.08	1.50	No	Thur	Lunch	2	0.078616
Yes	237	32.83	1.17	Yes	Sat	Dinner	2	0.035638
102	44.30	2.50	Yes	Sat	Dinner	3	0.056433
187	30.46	2.00	Yes	Sun	Dinner	5	0.065660
210	30.06	2.00	Yes	Sat	Dinner	3	0.066534
240	27.18	2.00	Yes	Sat	Dinner	2	0.073584

2)调用函数式添加函数参数

tips.groupby(['smoker', 'day']).apply(top, n=1, column='total_bill')
total_bill	tip	smoker	day	time	size	tip_pct
smoker	day								
No	Fri	99	12.46	1.50	No	Fri	Dinner	2	0.120385
Sat	111	7.25	1.00	No	Sat	Dinner	1	0.137931
Sun	6	8.77	2.00	No	Sun	Dinner	2	0.228050
Thur	149	7.51	2.00	No	Thur	Lunch	2	0.266312
Yes	Fri	92	5.75	1.00	Yes	Fri	Dinner	2	0.173913
Sat	67	3.07	1.00	Yes	Sat	Dinner	1	0.325733
Sun	172	7.25	5.15	Yes	Sun	Dinner	2	0.710345
Thur	196	10.34	2.00	Yes	Thur	Lunch	2	0.193424

3)使用apply时，不用分组键做index：

#压缩分组键, 可以看到所得到的对象具有分组键所形成的分层索引以及每个原始对象的索引。你可以通过向groupby传递group_keys=False来禁用这个功能：
tips.groupby('smoker', group_keys=False).apply(top)
total_bill	tip	smoker	day	time	size	tip_pct
57	26.41	1.50	No	Sat	Dinner	2	0.056797
0	16.99	1.01	No	Sun	Dinner	2	0.059447
48	28.55	2.05	No	Sun	Dinner	3	0.071804
146	18.64	1.36	No	Thur	Lunch	3	0.072961
130	19.08	1.50	No	Thur	Lunch	2	0.078616
237	32.83	1.17	Yes	Sat	Dinner	2	0.035638
102	44.30	2.50	Yes	Sat	Dinner	3	0.056433
187	30.46	2.00	Yes	Sun	Dinner	5	0.065660
210	30.06	2.00	Yes	Sat	Dinner	3	0.066534
240	27.18	2.00	Yes	Sat	Dinner	2	0.073584

欢迎交流！！！

就是一顿骚操作
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
用Pandas对Excel不规范字段二次分类汇总
EverYang
03-21 432
用Pandas对Excel不规范字段二次分类汇总 前言： 在实务中，常常有这样的情况：有一张Excel表格是汇总表，比如按班级汇总的分数表；但发现因为学员归属表错误或缺漏等原因，还有张三等五人，没有被归类到任何一个班级。如果数量级很少，查询未被归属的信息，返回到原表用Excel重新进行分类汇总是可行的。但如果数量级较大，或者归属表信息一时难以完整修改，可以用Pandas简单进行二次汇总功能。即另外建立一张针对缺漏归属的新表，根据上一汇总表和新归属表，进行二次汇总运算。 一、实例： 1、原汇总表 在下表中
pandas多表操作，groupby，时间操作
zhili8866的博客
03-30 1万+
多表操作 merge合并 pandas.merge可根据一个或多个键将不同DataFrame中的行合并起来 pd.merge(left, right)# 默认merge会将重叠列的列名当做键，即how='inner'，有多个重复列名则选取重复列名值都相同的行# 指定“on”作为连接键，left和right两个DataFrame必须同时存在“on”列，连接键也可N对N（少用） pd.merge(le
pandas：解决groupby().apply()方法打印两次
weixin_30687587的博客
12-20 1074
对于以下dataframe执行dataframe.groupby(['name', 'course']).apply(lambda x: test(x)) 操作 其中test(x)函数为： def test(x): print(x) 那么打印结果为： 可以发现，groupby()后的第一个结果被打印了两次。 对于这种情况，Pandas官方文档的解释是： 什么意...
利用pandas的stack和unstack对分组后的统计数据再执行统计
euler1983的专栏
08-28 339
引言 利用pandas的stack和unstack可以灵活实现二次统计。 考虑一个具体的应用场景 假如我们要对病人的医保金额进行反欺诈，首先希望计算每个患者的时间维度上的波动程度。我们可以这么做： 1. 对每个病人分组，统计每个月的总费用、平均费用、费用方差。 2. 再对每个病人统计12个月的[总费用、平均费用、费用方差]的波动程度。 逻辑 先分组求某些变量的mean, sum, std这些统计指标，并再求分组变量的std。 代码 import numpy as np import pa
拯救pandas计划（6）——多级分组并将次级条件转换为列名
weixin_46281427的博客
01-27 1524
拯救pandas计划（6）——多级分组并将次级条件转换为列名/ 数据需求/ 需求拆解/ 需求处理方法一方法二方法三/ 总结 最近发现周围的很多小伙伴们都不太乐意使用pandas，转而投向其他的数据操作库，身为一个数据工作者，基本上是张口pandas，闭口pandas了，故而写下此系列以让更多的小伙伴们爱上pandas。 系列文章说明： 系列名（系列文章序号）——此次系列文章具体解决的需求 平台： windows 10 python 3.8 pandas >=1.2.4 / 数据需求 需要将下列
pandas中Groupby使用（二）-对分组进行迭代
pywin
09-03 1万+
#-*- coding:utf-8 -*- import pandas as pd import numpy as np df=pd.DataFrame({'key1':['a','a','b','b','a'],'key2':['one','two','one','two','one'], 'data1':np.random.randn(5),'data2':n
pandas groupby 分组取每组的前几行记录方法
12-25
import pandas as pd df = pd.DataFrame({'class':['a','a','b','b','a','a','b','c','c'],'score':[3,5,6,7,8,9,10,11,14]}) df: class score 0 a 3 1 a 5 2 b 6 3 b 7 4 a 8 5 a 9 6 b 10 ...
pandas获取groupby分组里最大值所在的行方法
12-25
pandas获取groupby分组里最大值所在的行方法 如下面这个DataFrame,按照Mt分组，取出Count最大的那行 import pandas as pd df = pd.DataFrame({'Sp':['a','b','c','d','e','f'], 'Mt':['s1', 's1', 's2','s2','s2','...
pandas之分组groupby()的使用整理与总结
09-16
在Pandas中，`groupby()`函数是用于数据分组的一个关键方法，它允许我们将数据按照指定的列或列组合进行分割，以便对每个分组执行聚合操作。本文将深入探讨`groupby()`的使用，结合具体实例来展示其功能。 首先，`...
Python在groupby分组后提取指定位置记录方法
12-24
Python的pandas库中的groupby()函数是进行数据分组的核心工具，它允许我们将数据按照某一或某些列进行聚合，以实现对特定组内的统计分析。本文将深入探讨如何在groupby分组后提取指定位置的记录，这对于精细化的数据...
关于pandas中groupby的参数as_index的True与False
cjsyr6wt的博客
10-11 2万+
关于pandas中groupby的参数as_index选择True和False的区别
利用Python进行数据分析--数据聚合与分组运算1
栖客
11-18 2385
转载自： pandas提供了一个灵活高效的groupby功能，它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。 根据一个或多个键（可以是函数、数组或DataFrame列名）拆分pandas对象。计算分组摘要统计，如计数、平均值、标准差，或用户自定义函数。对DataFrame的列应用各种各样的函数。应用组内转换或其他运算，如规格化、线性回归、排名或选取子集等。计算透视表或
Pandas DataFrame.groupby().apply() 首行重复问题解决办法
lytk1的博客
06-12 2787
使用DataFrame.groupby().filter() 替代。
利用pandas进行数据分组及可视化
终焉_sync的博客
01-14 3万+
利用pandas进行数据分组及可视化 kaggle的Titanic数据集，给定了Titanic号邮轮的乘客的船舱等级（Pclass）、性别（Sex）、年龄（Age）、是否获救（Survived）等信息。希望能够用这些信息建立一个分类系统，来预测一个人是否会获救。 使用python，先导入numpy、pandas、matplotlib等库和数据train.csv impor
大数据之spark_spark的Transformation算子解析
WuBoooo的博客
09-17 382
map算子 功能所做映射 val rdd1: RDD[Int] = sc.parallelize(List(5,6,4,7,3,8,2,9,1,10)).map(_*2) flatMap算子 先map在压平，spark中没有flatten方法 val rdd2 = sc.parallelize(Array("a b c", "d e f", "h i j")) rdd2.flatMap(_.split(' ')).collect val rdd3 = sc.parallelize(List(List("
pandas python 分组统计的方法
热门推荐
SCUT_Sam
05-17 4万+
首先，看看本文所面向的应用场景：我们有一个数据集df，现在想统计数据中某一列每个元素的出现次数。这个在我们前面文章《如何画直方图》中已经介绍了方法，利用value_counts()就可以实现（具体回看文章） 但是，现在，我们考虑另外一个场景，我们假如要想统计其中两列元素出现次数呢？举个栗子： 在df数据集中，如果我们想统计A、B两列的元素的出现情况，也就是说，得到如下表。 从
pandas学习（四）——分组
jasminefeng的博客
12-23 1881
import pandas as pd import numpy as np df = pd.read_csv('E:\\DataWhale组队学习\\data\\learn_pandas.csv') 4.1.1、分组的一般模式 df.groupby(分组依据)[数据来源].使用操作 如统计不同年级的学生的平均体重，这里分组依据是年级，数据来源是体重，使用操作是均值方法： >>>df.groupby('Grade')['Weight'].mean() Grade Freshman
pandas:分组（GroupBy）
错位的梦寐的博客
09-29 2929
andas提供了一个灵活高效的groupby功能，它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。根据一个或多个键（可以是函数、数组或DataFrame列名）拆分pandas对象。计算分组摘要统计，如计数、平均值、标准差，或用户自定义函数。对DataFrame的列应用各种各样的函数。应用组内转换或其他运算，如规格化、线性回归、排名或选取子集等。计算透视表或交叉表。执行分位数分析以及其他...
pandas分组方法只有groupby吗
最新发布
06-01
在pandas中，groupby()方法是最常用的分组方法，但是还有其他的分组方法，例如： 1. pivot_table()方法：可以根据指定的行和列对数据进行聚合，并且可以对聚合结果进行重塑，返回一个新的DataFrame。 2. crosstab...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值