使用joblib库，通过并发提升pandas计算效率

pandas本身计算是非多进程的，joblib是一种Python的多进程库，可以实现并发和大量磁盘数据的读写。我们把他应用到pandas提升pandas的计算效率。

一、使用场景

由于建立多进程存在开销和各进程间的协助以及通信问题问题，因此满足以下场景使用多进程使用才能加速，否则效率可能低于非多进程方法或者结果错误。

1、数据集较大。通常大于1w行/列，至少大于5000行才有必要使用多进程加速。

2、数据集可以分割，且分割后的各个块计算逻辑不交叉，典型的应用场景是按行分割或者按列分割。按行列分块后，如果各块计算逻辑独立也可以应用多进程。

3、计算逻辑耗时。对于简单的判断、四则运算、内置函数计算等，在数据集不是超大的情况下，使用多进程无法加速，甚至会降低效率。

二、使用方法

多进程流程

joblib库多进程使用方法为

详细版：

list_np = df_dflist(df1,9)
tasks = [delayed(函数)(参数) for 参数 in list_np]
res=Parallel(n_jobs=3)(tasks)
data = pd.concat(res)

简化版：

res = Parallel(n_jobs=3)([delayed(f)(x,y) for x