从 Pandas 到 Polars 三十四：在Polars中，Lazy模式的隐藏时间节省器

Polars中的Lazy模式不仅提供查询优化并允许您处理超出内存限制的数据集，它还提供了一定的类型安全性，可以在您开始处理大量数据之前发现管道中的错误。

基本设置

下面我们通过一个简单的流程来说明这个想法，其中我们从一些数据中创建一个DataFrame，并在即时模式下对其进行转换。

import polars as pl
df = (
    pl.DataFrame(
        {
            "groups":['a','a','b','b','c'],
            "values":[0,1,2,3,4]
        }
    )
    .with_columns(
        pl.col('values').round(0)
    ))

问题在于我们的数据转换是无效的：'values' 列的数据类型是整数（integer dtype），但 'round' 表达式只能对具有浮点数据类型（floating point dtype）的列进行调用。

如果我们运行上面的代码，我们会得到以下异常：

SchemaError: Int64 is not a floating point datatype

在这个即时模式的例子中，Polars 在创建 DataFrame 并尝试进行 with_columns 转换后发现了错误。

在惰性模式下会发生什么呢？

我们可以在惰性模式下再次尝试，一旦 DataFrame 创建完成后，但在我们进行 with_columns 转换之前，我们将其转换为 LazyFrame。

df = (
    pl.DataFrame(
        {
            "groups":['a','a','b','b','c'],
            "values":[0,1,2,3,4]
        }
    )
    .lazy()
    .with_columns(
        pl.col('values').round(0)
    ))

如果我们运行这段代码，我们会发现……什么都不会发生。Polars 只是创建了一个包含错误表达式的 LazyFrame。这是因为 Polars 在我们执行流程之前不会检查架构错误。

如果我们尝试使用 collect（处理所有数据）或 fetch（处理一个子集）来执行流程，那么我们会看到 SchemaError。

df.collect()SchemaError: Int64 is not a floating point datatype

这里的关键点是，Polars 在我们调用 collect 方法时和在实际处理数据的耗时部分之前发现了这个错误。

通过这种方式，Polars 中的惰性模式可以帮助您在管道运行开始时而不是深入运行后找到管道中的错误。

 往期热门文章：

从 Pandas 到 Polars 二十六：在Polars中，不要遍历列

从 Pandas 到 Polars 二十三：如果你的数据已经排序，Polars可以为你提供助力

从 Pandas 到 Polars 十八：数据科学 2025，对未来几年内数据科学领域发展的预测或展望

从 Pandas 到 Polars 十三：流式处理的关键参数

从 Pandas 到 Polars 十：“Polars 表达式“是什么？

从 Pandas 到 Polars 六：在 Polars 中流式处理大型数据集

从 Pandas 到 Polars 0：理解Polars嵌套列类型