python程序调优:替换pandas包的Series与DataFrame构造与计算

在实际部署的时候,使用dataframe的计算效率明显低于numpy,因此在程序中大量运行时避免使用pandas.Seriespandas.DataFrame及频繁的构造,避免、替换的方法如下:

  1. 使用numpy.ndarry替换pandas.Series,在需要使用series的地方都用ndarry数组计算

  2. 使用滑动计算时,使用numpy的如下方法替换:

    np.roll(array, 1)  # 向后搓一位(此时最后面的到最前面)
    np.roll(array, -1)  # 向前搓一位(此时第一位到最末尾,第二位到第一位)
    

    示例:计算增长率

    array = np.array([2.3, 3.2, 2.8, 3.0, 4])
    growth_rate = (array - np.roll(array, 1)) / np.roll(array, 1) * 100
    growth_rate[0] = 0
    print(growth_rate)
    
  3. 使用DataFrame的apply时,替换成for循环的ndarry计算,手动加一个多线程要远比使用pandas快

  4. 使用到DataFrame的多个维度的数据时,使用python dict替代,就是把字典key当成Dataframe的列名称,value当成列的值

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

呆萌的代Ma

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值