从 Pandas 到 Polars 二十一：用Polars打破你的坏习惯

关于Polars的讨论中，我们收到的一个评论是Polars的语法鼓励人们改掉在Pandas中养成的坏习惯。

以.apply（或.applymap）函数为例。我看到很多人在Kaggle数据科学竞赛中使用这个函数，尽管这并不是个好主意。

在下面这个例子中，我们想要将所有列中的正值映射为1，负值映射为-1。

在Polars中使用标准的pl.when方法比Pandas中的apply方法快100倍

在这两个库中，这个示例问题都有进一步优化的空间！

import polars as pl
import numpy as np

# Create a random DataFrame
N = 100_000
dfNumeric = pl.DataFrame(np.random.standard_normal((N,100)))
dfp = dfNumeric.to_pandas()

# Set values to 1 when they are positive and 0 otherwise
(
    dfp
    .applymap(lambda x: 1 if x > 0 else 0)
)
# Time: 2.5 seconds
(
    dfNumeric
    .with_columns(
        [
            pl.when(pl.col(col) > 0).then(1).otherwise(0).alias(col) for col in df.columns
            ]
            )
)
# Time: 30 milliseconds

在Polars中，表达式上下文中的pl .when().then().otherwise() 链式调用是条件表达式的一部分，用于在数据帧(DataFrame)的列上执行条件逻辑。其返回一个新的表达式或列，该表达式或列可以包含在更大的数据帧操作中。在实际应用中，你可以使用多个 .when().then() 链来创建更复杂的条件逻辑。

链式的 when-then 操作类似于Python中的if, elif, ... elif代码块。

由于：

• Polars 的条件表达式是懒惰的，这意味着它们只在数据被实际请求时执行。在处理大型数据集时，延迟执行和内部优化可以显著提高性能。
• 相比于 Pandas，Polars 的条件表达式通常具有更好的性能和内存使用效率，尤其是在处理大型数据集时。

我逐渐远离了.apply函数。

在Pandas中，我曾经相当频繁地使用.apply，但在Polars中，我唯一一次使用.apply是在写文档时，告诉人们不要使用.apply！