Polars：从 Apache Spark 过渡指南

Polars：从 Apache Spark 过渡指南

如果您已经熟悉 Apache Spark，那么在使用 Polars 时需要注意一些关键区别。以下是一些典型的 Spark 操作及其对应的 Polars 实现。

1. 基于列的方法 vs. 基于行的方法

Spark DataFrame 类似于一个行的集合，而 Polars DataFrame 更接近于一个列的集合。这意味着你可以在 Polars 中以 Spark 中不可能的方式组合列。

案例 1: 合并 head 与 sum

在 Polars 中，你可以写出以下语句：

df.select([
    pl.col("foo").sort().head(2),
    pl.col("bar").filter(pl.col("foo") == "d").sum()
])

该代码段输出：

shape: (2, 2)
┌─────┬─────┐
│ foo ┆ bar │
│ --- ┆ --- │
│ str ┆ i64 │
╞═════╪═════╡
│ a   ┆ 9   │
├╌╌╌╌╌┼╌╌╌╌╌┤
│ b   ┆ 9   │
└─────┴─────┘

列 foo 和 bar 上的表达式是完全独立的。由于 bar 上的表达式返回一个单一的值，这个值在 foo 表达式输出的每个值中都会重复，但是 a 和 b 与产生 9 没有关系。
要在 Spark 中做类似的事情，你需要单独计算总和，并将其作为字面值返回。

案例 2: 合并两个 head

在 Polars 中，你可以在同一个 DataFrame 上结合两个不同的 head 表达式，只要它们返回相同数量的值。

df.select([
    pl.col("foo").sort().head(2),
    pl.col("bar").sort(reverse=True).head(2),
])

该代码段输出：

shape: (3, 2)
┌─────┬─────┐
│ foo ┆ bar │
│ --- ┆ --- │
│ str ┆ i64 │
╞═════╪═════╡
│ a   ┆ 5   │
├╌╌╌╌╌┼╌╌╌╌╌┤
│ b   ┆ 4   │
└─────┴─────┘

同样，这里的两个 head 表达式是完全独立的，a 与 5 和 b 与 4 的配对纯粹是表达式输出的两列并列的结果。
为了在 Spark 中完成类似的工作，你需要生成一个人工的 key 使你能够以相同的方式连接这些值。
以上代码示例展示了如何将 Spark 中的常见操作转换为 Polars。更多详细信息和高级用法，请访问原网页。