从 Pandas 到 Polars 二十二：使用Polars求最大值

当我想在数据框中获取最大值时，我总是先对列进行排序，然后调用 .head。

然而，这并不是最好的方法。因为对于sort操作，你需要比较所有值，而你实际上只需要比较一小部分顶部的值。

Polars中的解决方案是使用top_k方法。

它的输出与.sort.head相同，但速度更快，因为它只关心与最大（或最小）值的比较。

在这个简单的例子中，top_k比.sort.head快2倍。

import polars as pl
import numpy as np

# 创建一个随机的 DataFrame
N = 100000
dfNumeric = pl.DataFrame(np.random.standard_normal((N,100)))

# 使用 .sort 和 .head 求最大的前三个数
dfNumeric.select(pl.all().sort(descending=True).head(3))
# 耗时: 180 ms

# 使用 top_k 求最大的前五个数
dfNumeric.select(pl.all().top_k(5))
# 耗时: 90 ms

总的来说，top_k的时间复杂度是O(n * log(k))，而对整个列表进行排序的时间复杂度是O(n * log(n))。

因此，当你想要获取的元素数量与总元素数量之间的差异越大时，使用top_k的效率差异就越大。