python pandas 多进程 apply

本文介绍了如何使用pandarallel库来加速pandas的apply操作,通过示例展示了在32位树莓派系统上,处理RFM数据时,多进程apply相比于原生pandas apply的显著性能提升。
摘要由CSDN通过智能技术生成

今天介绍一个库,叫pandarallel,用于pandas库多进程执行.

安装库 pip install pandarallel

测试平台:

+ 32位树莓派系统 Pi OS

+ python 3.7

+ pandas 1.0.3

 

大致代码如下:

这是一段简单计算RFM的代码,由原生pandas apply完成

```

today = datetime.datetime.now()
df = pd.read_csv('rfm.csv', parse_dates=['max_trandt'])
bg = time.time()
df['max_trandt'] = df['max_trandt'].apply(lambda dt: (today - dt).days)
# print(df.head(100).to_string())
tran_count_m = df['tran_count'].median()
max_trandt_m = df['max_trandt'].median()
max_tranam_m = df['max_tranam'].median()
df['r'] = df['max_trandt'].apply(lambda row: '0' if row - max_trandt_m >= 0 else '1')
df['f'] = df['tran_count'].apply(lambda row: 

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值