Python并行处理充分利用CPU实现加速

最近在用Python处理公共的图像数据库，由于数据量比较大，一张张串行处理图片时间太久了。因此，决定采用并行的方式来充分利用主机上的CPU来实现处理过程的加速，可以大大减少总的处理时间。

这里采用的是concurrent.futures模块，它可以利用multiprocessing实现真正的平行计算。

核心原理是：concurrent.futures会以子进程的形式，平行的运行多个python解释器，从而令python程序可以利用多核CPU来提升执行速度。由于子进程与主解释器相分离，所以他们的全局解释器锁也是相互独立的。每个子进程都能够完整的使用一个CPU内核。

具体实现起来也非常简单，代码如下。主机有多少CPU核心，就会启动多少Python进程并行处理。

import concurrent.futures


def function(files):
    # To do what you want
    # files: file list that you want to process


if __name__ == '__main__':
    with concurrent.futures.ProcessPoolExecutor() as executor:
        executor.map(function, files)

改成并行处理后，我的12块CPU满负荷运行，处理速度明显加快。