pandas对每十行做批量操作_Pandas高效批量计算

以电力公司计算阶梯电费为例，逐步介绍如何高效的进行批量计算？

表中包含每小时用电量和时间，一年的话有365*24=8760行。

电力公司电量消耗表

预处理时间

首先需要从源文件中读取数据。

read data.png

Pandas和NumPy有dtypes(数据类型)的概念，如果没有制定参数，date_time会以object type导入。

dtypes.png

object对象是一个容器，不仅仅能够装str，任何不能转换的数据类型都可以。如果以string类型处理date是不高效的，并且耗内存。

针对时间序列数据，可以将date_time列格式化为datetime对象序列(Pandas中称为Timestamp)。

datetime.png

现在可以查看DataFrame(df)的格式，有两列和标记每行的数字索引。

datetime_DataFrame.png

上面代码看起来简单，但是执行效率如何呢？我们使用@timeit来测试一下，

time_convert_consume.png

8760行数据消耗1.6秒，看起来不错，但是如果面对各大的数据集呢？比如要计算一年内每分钟的电力消耗情况，那就是现在数据的60倍，基本上要花费1.5分钟才能搞定。

如何提高效率呢？记住一条：Pandas花更少的时间解析数据，就会更快。

在这个例子中，我们就简单的用格式化参数告诉Pandas时间和日期数据格式，效率得到了巨大提升。

time_speedup_strftime.png

8760行数据仅仅消耗0.032秒，快了50倍！！！

这个例子告诉我们：文件中存储的datetimes数据部署ISO8601格式(YYYY-MM-DD HH：MM)。如果不指定格式，Pandas会使用dateutil包将string转换为date。

相反，如果原始datetime数据已经是ISO8601格式了，Pandas可以立即采取快速的方法去解释日期。这就是为什么显示指定格式如此有效的一个原因。另一个方法是传递infer_datetime_format=True参数，但是一般而言显示指定格式是有好处的。

简单的循环Pandas数据

现在我们已经将日期和时间转换为方便的格式了，开始准备计算电费。记住：每小时电费是变化的。所以需要条件的对每个小时应用价格因子。时间-电费的关系定义如下：

tariff_cost.png

方案1：apply_tariff_loop

apply_tariff.png

apply_tariff_loop.png

方案1的循环看起来不是那么太好，你可以有多个理由认为这对Pandas而言是反模式的。

1、 首先需要初始化输出列表

2、 使用range(0，len(df))做循环，然后应用apply_tariff()，必须将结果追加到列表中，用于生成DataFrame列。同时还使用df.iloc[i]["date_time"],经常会导致意想不到的结果。

3、最大的问题是时间消耗

方案2：apply_tariff_iterrows

怎么提升性能呢？Pandas在循环应用场景下提供了DataFrame.itertuples()和DataFrame.iterrows()，这两个是生成器方法，每次返回一条记录。

.itertuples()返回每行一个命名元组，行索引是元组第一个元素。命名元组是Python的collections模块的数据结构，和Python的元组一样，但是可以通过循环属性访问字段。

.iterrows()返回DataFrame中每行的索引、序列对或元组。

itertuples()看起来稍微快一点

apply_tariff_iterrows.png

方案3：apply_tariff_apply

可以使用.apply()进一步提升效率。Pandas的.apply()方法获取一个函数，并将其应用在DataFrame中的某个轴。

apply_tariff_apply.png

参考文档