Polars基本操作 - context

9命怪猫

已于 2023-12-29 13:37:35 修改

阅读量409

点赞数 11

分类专栏： Python 文章标签： python 数据分析数据挖掘

于 2023-12-29 13:12:51 首次发布

本文链接：https://blog.csdn.net/972301/article/details/135288463

版权

Python 专栏收录该内容

20 篇文章 3 订阅

订阅专栏

在Polars中，上下文（context）操作是一种按组进行数据处理的方法。它允许您在每个组内对数据进行选择（selection）、过滤（filtering）和聚合（Group by / Aggregation）。

1. 选择（selection）

import polars as pl

# 创建一个DataFrame
df = pl.DataFrame({
    'group': ['A', 'A', 'B', 'B', 'A'],
    'value': [1, 2, 3, 4, 5],
    'count': [10, 20, 30, 40, 50]
})

# 选择group和value两列
result = df.select(['group', 'value'])

print(result)

2. 过滤（filtering）

import polars as pl

# 创建一个DataFrame
df = pl.DataFrame({
    'group': ['A', 'A', 'B', 'B', 'A'],
    'value': [1, 2, 3, 4, 5]
})

# 在每个组内过滤掉小于3的值
result = df.groupby('group').apply(lambda x: x.filter(pl.col('value') >= 3))

print(result)

3. 聚合（Group by / Aggregation）

import polars as pl

# 创建一个DataFrame
df = pl.DataFrame({
    'group': ['A', 'A', 'B', 'B', 'A'],
    'value': [1, 2, 3, 4, 5]
})

# 在每个组内计算平均值和总和
result = df.groupby('group').agg({'value': ['mean', 'sum']})

print(result)

与之相对比的pandas的选择、过滤和聚合

1. pandas选择（IMHO，比Polars的简单）

import pandas as pd

# 创建一个DataFrame
df = pd.DataFrame({
    'group': ['A', 'A', 'B', 'B', 'A'],
    'value': [1, 2, 3, 4, 5],
    'count': [10, 20, 30, 40, 50]
})

# 选择group和value两列
result = df[['group', 'value']]

print(result)

2. pandas过滤（可以用布尔索引过滤）

import pandas as pd

# 创建一个DataFrame
df = pd.DataFrame({
    'group': ['A', 'A', 'B', 'B', 'A'],
    'value': [1, 2, 3, 4, 5]
})

# 在每个组内过滤掉小于3的值
result = df.groupby('group').apply(lambda x: x[x['value'] >= 3])

print(result)

3. pandas聚合

import pandas as pd

# 创建一个DataFrame
df = pd.DataFrame({
    'group': ['A', 'A', 'B', 'B', 'A'],
    'value': [1, 2, 3, 4, 5]
})

# 在每个组内计算平均值和总和
result = df.groupby('group')['value'].agg(['mean', 'sum'])

print(result)

IMHO，看起来context操作，Pandas比Polars更直观。不过Polars能处理的数据量比Pandas大。