Pandaral·lel是一个库，旨在利用计算机的所有CPU来并行化pandas的数据处理任务，从而显著提高计算速度。通过简单的替换apply为parallel_apply，可以在groupby和rolling操作中实现并行计算，提高效率。在4核硬件上，平均加速约4倍。它使用Pyarrow Plasma共享内存和子进程来分布工作并合并结果。
作者 | Manu NALEPA
来源 | Towards Data Science
编辑 | 代码医生团队
此GitHub页面上提供了完整的Pandaral·lel存储库和文档。
https://github.com/nalepae/pandarallel
什么问题困扰我们？
使用pandas，当您运行以下行时：
# Standard apply
df.apply(func)
得到这个CPU使用率：
标准pandas适用 - 仅使用1个CPU
即使计算机有多个CPU，也只有一个完全专用于您的计算。
而不是下边这种CPU使用，想要一个简单的方法来得到这样的东西：
最低0.47元/天 解锁文章
扫一扫
1695
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
