盘点一个Pandas数据处理基础题目(文末有学习彩蛋)

本文介绍了如何使用Pandas解决数据处理中的组合与转换问题,提供两种方法:通过`unique().str.join(',')`和`apply(set).apply(lambda x: ','.join(x))`。同时,分享了函数向量化和数据类型转换对于提升效率的重要性,从18秒到0.07秒的性能优化。最后,讨论了不同处理方式的时间成本,强调了优化代码在数据分析中的价值。
摘要由CSDN通过智能技术生成

点击上方“Python共享之家”,进行关注

回复“资源”即可获赠Python学习资料

戍鼓断人行,边秋一雁声。

大家好,我是皮皮。

一、前言

前几天在Python最强王者交流群【Chloe】问了一道Pandas处理的问题,如下图所示。

bdcce3f538003e12fbbfcec39493c30e.png

原始数据如下:

df = pd.DataFrame( {'id' : ['A','A','A','A','A','A','B','B','B','B','B'], 
                    'type' : [1,1,1,1,2,2,1,1,1,2,2], 
                    'book' : ['Math','Math','English','Physics','Math','English','Physics','English','Physics','English','English']})

res = df.groupby(['id','type']).book.apply(list).reset_index()

res['book'] = res.apply(lambda x:(','.join([str(i) for i in x['book']])))
res

预期的结果如下图所示:

5869d97fee1f48669dc896075b1f159a.png

二、实现过程

方法一

这里【月神】给出一个可行的代码,大家后面遇到了,可以对应的修改下,事半功倍,代码如下所示:

df.groupby(['id','type']).book.unique().str.join(',').reset_index()

运行之后,结果就是想要的了。

548e018e7e828cf86be12d86869fdc99.png
方法二

后来【瑜亮老师】也给了一份代码。

8c0ea24745cb4e00db873b2eda9e7b94.png

代码如下所示:

res = df.groupby(['id', 'type']).book.apply(set).reset_index()
res['book'] = res['book'].apply(lambda x: (','.join(x)))
print(res)

运行之后,结果就是想要的了。

5c767e6baf8d38b9e722aebe0f91a629.png

完美地解决了粉丝的问题!

最后再给大家分享一个知识点,如下图所示。

e3f3198a5481db44919381fbbb4bf8c2.png

后来【瑜亮老师】还补充了一个结论,这里和大家一起分享下。

文章做了对比:
普通apply处理需要18秒左右,
使用Swift进行加速提升到7秒左右,
函数向量化,时间缩短至0.4秒,
int64转为int16,用时缩短至0.1秒
尽可能转换为.values,再操作,仅用时0.07秒!!!
从18秒到0.07秒……
ad25f8cc62b0e8463837a43792548489.png

三、总结

大家好,我是皮皮。这篇文章主要盘点了一道使用Pandas处理数据的问题,文中针对该问题给出了具体的解析和代码实现,一共两个方法,帮助粉丝顺利解决了问题。

最后感谢粉丝【Chloe】提问,感谢【月神】、【瑜亮老师】给出的思路和代码解析,感谢【dcpeng】、【冯诚】、【冷喵】、【D I Y】等人参与学习交流。

小伙伴们,快快用实践一下吧!如果在学习过程中,有遇到任何问题,欢迎加我好友,我拉你进Python学习交流群共同探讨学习。

84ce0b6616968dfccdce8c7e99d17f5c.png

------------------- End -------------------

往期精彩文章推荐:

79f0612f618c1cc221fbb5530b36c1f4.png

欢迎大家点赞,留言,转发,转载,感谢大家的相伴与支持

想加入Python学习群请在后台回复【

万水千山总是情,点个【在看】行不行

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值