pands.qcut 太慢?使用numpy来让速度起飞

在处理大数据时,发现pandas.qcut速度较慢。通过对比,创建100 x 5000的DataFrame并使用pd.qcut分割数据耗时约706ms。而采用numpy的实现方式np_qcut,耗时仅为36.5ms,速度提升了约20倍。经验证,两者的分割结果完全一致,证明numpy是pandas.qcut的一个高效替代方案。
摘要由CSDN通过智能技术生成

pands.qcut 太慢?使用numpy来让速度起飞

对于数据处理,一般来说,处理数独方面,pdDataFame < pd.Series < np.array

最近在使用 pd.qcut 进行数据划分方面的工作,发现速度真是的是慢的难以忍受

import numpy as np
import pandas as pd

首先构造一个 100 x 5000 的,取值范围在 [1, 100] 的DataFrame

df = pd.DataFrame(np.random.randint(1, 100, (100, 5000)))
df.head()
0 1 2 3 4 5 6 7 8 9 ... 4990 4991 4992 4993 4994 4995 4996 4997 4998 4999
0 54 63 21 45 87 29 6 79 19 41 ... 51 91 70 63 76 36 88 10 24 92
1 88 95 57 77 77 88 26 47 2 63 ... 20 50 67 3
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值