Python并行化处理之Pandarallel VS Polars VS Dask

Python并行化处理之Pandarallel VS Polars VS Dask

随着数据科学和机器学习领域的快速发展，处理大规模数据集的需求日益增长。Python，作为数据科学领域的首选语言之一，提供了多种并行化方案来加速数据处理和分析任务。在众多解决方案中，Pandarallel、Dask和Polars因其强大的功能和灵活性而脱颖而出。在本文中，我们将探讨这三种并行化方案的异同，评估它们在不同场景下的表现，并提供实用的指导，以帮助您选择最适合您项目需求的工具。

---

---

前言

在Python生态系统中，Pandas是一个广泛使用的数据分析库，它提供了丰富的数据处理功能。然而，Pandas在处理非常大的数据集时可能会遇到性能瓶颈，因为它主要依赖于单线程操作。为了克服这一限制，Pandarallel应运而生，它允许Pandas操作在多个CPU核心上并行执行。与此同时，Dask提供了一个灵活的并行计算系统，它能够扩展Pandas、NumPy和其他Python库，处理比内存大得多的数据集。Polars则是一个较新的库，它以零拷贝的执行和SIMD指令集优化为特点，提供了一种高性能的数据处理方式。

---

一、Pandarallel是什么？

Pandarallel源码
Pandarallel 是一个 Python 库，本质是Pandas的一个并行化的扩展，旨在提高 pandas 库在数据处理任务中的性能，通过并行化操作来加速 DataFrame 和 Series 的运算。它是专为 pandas 设计的，能够在多核机器上有效利用 CPU 资源，从而显著提高数据处理的速度。

Pandarallel 的工作原理基于 Python 的多进程处理。由于 Python 的全局解释器锁（GIL）限制了多线程的性能，Pandarallel 使用多进程来避开这一限制。它通过创建多个进程，每个进程复制当前的数据和代码，然后并行处理各自的数据块，最后将结果合并。这样可以充分利用多核 CPU，加速数据处理任务。

• 注意：Pandarallel 主要用于加速 pandas 数据处理操作的并行化，并不直接影响到 scikit-learn (sklearn)、TensorFlow、PyTorch等
  的模型训练过程。Pandarallel 处理后的数据可以作为输入数据代入上述框架中训练模型，但这并不会自动使模型训练过程变成并行的。

1.核心功能

• parallel_apply: 用于 DataFrame 的行或列，替代 apply 方法。
• parallel_applymap: 用于DataFrame，替代 applymap 方法。
• parallel_map: 用于 Series，替代 map 方法。
• parallel_progress_apply: 功能类似于 parallel_apply，但提供进度条显示。

2.使用方法

# pip install pandarallel
from pandarallel import pandarallel
import pandas as pd
import numpy as np

# 初始化 Pandarallel
pandarallel.initialize()

# 创建一个大型 DataFrame
df = pd.DataFrame({
   
    'a': np.random