pandas对每十行做批量操作_Pandas高效批量计算

以电力公司计算阶梯电费为例,逐步介绍如何高效的进行批量计算?

表中包含每小时用电量和时间,一年的话有365*24=8760行。

电力公司电量消耗表

预处理时间

首先需要从源文件中读取数据。

read data.png

Pandas和NumPy有dtypes(数据类型)的概念,如果没有制定参数,date_time会以object type导入。

dtypes.png

object对象是一个容器,不仅仅能够装str,任何不能转换的数据类型都可以。如果以string类型处理date是不高效的,并且耗内存。

针对时间序列数据,可以将date_time列格式化为datetime对象序列(Pandas中称为Timestamp)。

datetime.png

现在可以查看DataFrame(df)的格式,有两列和标记每行的数字索引。

datetime_DataFrame.png

上面代码看起来简单,但是执行效率如何呢?我们使用@timeit来测试一下,

time_convert_consume.png

8760行数据消耗1.6秒,看起来不错,但是如果面对各大的数据集呢?比如要计算一年内每分钟的电力消耗情况,那就是现在数据的60倍,基本上要花费1.5分钟才能搞定。

如何提高效率呢?记住一条:Pandas花更少的时间解析数据,就会更快。

在这个例子中,我们就简单的用格式化参数告诉Pandas时间和日期数据格式,效率得到了巨大提升。

time_speedup_strftime.png

8760行数据仅仅消耗0.032秒,快了50倍!!!

这个例子告诉我们:文件中存储的datetimes数据部署ISO8601格式(YYYY-MM-DD HH:MM)。如果不指定格式,Pandas会使用dateutil包将string转换为date。

相反,如果原始datetime数据已经是ISO8601格式了,Pandas可以立即采取快速的方法去解释日期。这就是为什么显示指定格式如此有效的一个原因。另一个方法是传递infer_datetime_format=True参数,但是一般而言显示指定格式是有好处的。

简单的循环Pandas数据

现在我们已经将日期和时间转换为方便的格式了,开始准备计算电费。记住:每小时电费是变化的。所以需要条件的对每个小时应用价格因子。时间-电费的关系定义如下:

tariff_cost.png

方案1:apply_tariff_loop

apply_tariff.png

apply_tariff_loop.png

方案1的循环看起来不是那么太好,你可以有多个理由认为这对Pandas而言是反模式的。

1、 首先需要初始化输出列表

2、 使用range(0,len(df))做循环,然后应用apply_tariff(),必须将结果追加到列表中,用于生成DataFrame列。同时还使用df.iloc[i]["date_time"],经常会导致意想不到的结果。

3、最大的问题是时间消耗

方案2:apply_tariff_iterrows

怎么提升性能呢?Pandas在循环应用场景下提供了DataFrame.itertuples()和DataFrame.iterrows(),这两个是生成器方法,每次返回一条记录。

.itertuples()返回每行一个命名元组,行索引是元组第一个元素。命名元组是Python的collections模块的数据结构,和Python的元组一样,但是可以通过循环属性访问字段。

.iterrows()返回DataFrame中每行的索引、序列对或元组。

itertuples()看起来稍微快一点

apply_tariff_iterrows.png

方案3:apply_tariff_apply

可以使用.apply()进一步提升效率。Pandas的.apply()方法获取一个函数,并将其应用在DataFrame中的某个轴。

apply_tariff_apply.png

参考文档

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值