【Python】Polars vs Pandas FileIO Benchmark

摘要

十多年来，Pandas 一直是 Python 中数据框架库的黄金标准，也是处理表格数据集的首选工具。大多数（如果不是全部）与第三方应用程序的连接器在处理数据集时都使用了 Pandas API。事实上，Pandas 已经成为事实标准，而且可能会继续保持这个地位。

近期出现了 Polars库。Polars 是一个“用于 Rust 和 Python 的高速 DataFrame 库”，构建在 Apache Arrow 内存格式之上。Polars 的卖点是速度，这在 H2O.ai 的基准测试中得到了证明，主要针对数据库操作，如连接、分组和聚合。然而，我特别关注 Polars 在 I/O 性能上与 Pandas 的比较。在本文中，我们将探讨 Polars 和 Pandas 在读取和写入的性能。a

数据集

file	Rows	Columns	size
medium.csv	2200000	27	1.1G
medium.csv	2200000	3	121M
large.csv	100000000	3	5.4G
large.csv	100000000	12	22G

测试代码

import polars as pl
import pandas as pd
import numpy as np
from pathlib import Path

def write_to_csv_use_pl(df, file_path: Path):
    if file_path.exists():
        file_path.unlink()
    df.write_csv(str(file_path))

def write_to_csv_use_pd(df, file_path: Path):
    if file_path.exists():
        file_path.unlink()
    df.to_csv(str(file_path), index=False)

def read_csv_use_pl(file_path: Path):
    return pl.read_csv(str(file_path))

def read_csv_use_pd(file_path: Path):
    return pd.read_csv(str(file_path))

# 构造数据代码
def construct_dataset_pd(rows, columns):
    data = np.random.rand(rows, columns)
    df = pd.DataFrame(data)
    return df

def construct_dataset_pl(rows, columns):
    data = np.random.rand(rows, columns)
    df = pd.DataFrame(data)
    return pl.from_pandas(df)

测试结果

机器配置

CPU	Memory	SSD
10980HK	64G	1T

file	Rows	Columns	size	pandas write	polars write	pandas read	polars read
medium.csv	2200000	3	121M	1.02 s ± 169 ms	333 ms ± 14.9 ms	10.5 s ± 726 ms	65.6 ms ± 1.84 ms
medium1.csv	2200000	27	1.1G	1min 17s ± 1.95 s	1.43 s ± 148 ms	15.2 s ± 646 ms	570 ms ± 42.6ms
large.csv	100000000	3	5.4G	7min 40s ± 9.41 s	13.3 s ± 2.01 s	38.1 s ± 1.98 s	3.24 s ± 79.6 ms
large1.csv	100000000	12	22G	-	-	-	-

机器配置

CPU	Memory	SSD
12700K	32G	1T

file	Rows	Columns	size	pandas write	polars write	pandas read	polars read
medium.csv	2200000	3	121M	3.65 s ± 3.28 ms	213 ms ± 3.66 ms	351 ms ± 935 µs	26.9 ms ± 1.2 ms
medium1.csv	2200000	27	1.1G	27.8 s ± 51.9 ms	1.1 s ± 43.3 ms	3.52 s ± 46.8 ms	160 ms ± 10.8 ms
large.csv	100000000	3	5.4G	2min 45s ± 633 ms	9 s ± 1.05 s	18.1 s ± 1.22 s	1.05 s ± 63.3 ms
large1.csv	100000000	12	22G	-	1min ± 8.15 s	-	9.97 s ± 1.79 s

总结

Polars 能够使用CPU的多核能力，比起Pandas只能使用一个核，能过极大提高其工作效率。