pandas数据处理效率提升方法

在进行业界大规模数据处理及特征工程的时候，往往需要对dataframe进行处理。而处理方式一般人会选择用apply的方式。

apply方式进行了一些底层的优化，相比直接对dataframe进行for循环效率高了很多。
但是，尽管使用了apply后，依然有很多优化的空间。

方法如下：
Pandas循环提速7万多倍

文中提到了一种用numpy进行优化的方法，但是具体的实施方式说得并不清楚。

至于为什么采用numpy会对pandas的循环有如此明显的效果优化，stack overflow给出了解释。

那么了解了numpy的优势之后，为了优化代码，则需要将之前的方法替换成numpy的方式。这里我们以一个维度(16307, 20)的dataframe进行说明。目前涉及到的主要有以下三种:

1.直接进行values维度计算

利用timeit监测两种方式的运行时间

%%timeit

df['amount'] = df['last_kj_amount'] + df['last_15day_amount']

567 µs ± 32 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

%%timeit

df[<