本文介绍了如何使用Dask和Numba并行化加速Python数据预处理，特别是图像处理任务。通过对比Python、Dask、Numba以及它们的组合在处理100万行数据时的性能，揭示了Numba+Dask的高效性。Dask能够利用多核CPU并行处理任务，Numba则通过即时编译加速数值计算。作者分享了如何结合使用map_partition和apply方法，以及如何利用广播机制和Numpy优化性能。
如果你善于使用Pandas变换数据、创建特征以及清洗数据等，那么你就能够轻松地使用Dask和Numba并行加速你的工作。单纯从速度上比较，Dask完胜Python，而Numba打败Dask，那么Numba+Dask基本上算是无敌的存在。将数值计算分成Numba sub-function和使用Dask map_partition+apply，而不是使用Pandas。对于100万行数据，使用Pandas方法和混合数值计算创建新特征的速度比使用Numba+Dask方法的速度要慢许多倍。
Python：60.9x | Dask：8.4x | Numba：5.8x |Numba+Dask：1x
作为旧金山大学的一名数据科学硕士，会经常跟数据打交道。使用Apply函数是我用来创建新特征或清理数据的众多技巧之一。现在，我只是一名数据科学家，而不是计算机科学方面的专家，但我是一个喜欢捣鼓并使得代码运行更快的程序员。现在，我将会分享我在并行应用上的经验。
大多Python爱好者可能了解Python实现的全局解释器锁(GIL)，GIL会占用计算机中所有的CPU性能。更糟糕的是，我们主要的数据处理包，比如Pandas，很少能实现并行处理代码。
Apply函数vs Multiprocessing.map
Tidyverse已经为处理数据做了一些美好的事情，Plyr是我最喜爱的数据包之一，它允许R语言使用者轻松地并行化他们的数据应用。Hadley Wickham说过：
“plyr是一套处理一组问题的工具
最低0.47元/天 解锁文章
10万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
