p_tqdm的p_map运行过慢

使用pandas对数据进行处理,想要看一下处理的进度,之前使用tqdm包来显示进度条,现在发现有一个改进的包p_tqdm,可以并行处理。但在实际处理中,p_map的运行速度非常慢,(map 简单的加函数,大概每秒200多个),速度小于t_map,更是远远慢于python内建的map函数。

看了一下p_tqdm实现,它在line 68进行并行处理的时候调用的是multiprocessing.ProcessingPoolimap,这样做虽然不会爆内存,但是生成器的速度满了很多。

源代码

map_type = 'imap' if ordered else 'uimap'

最简单的修改就是将imap改为map

map_type = 'map' if ordered else 'uimap'

修改后,pmap的运行速度变得可以接受,但在实际测试的过程中,发现仍然是p_map慢于t_map慢于map

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值