快速掌握用python写并行程序，干货满满

今天想来谈谈“并行计算”，作为一个非科班人员，我为什么去捣鼓这么一个在科班里也比较专业的问题了。这就要说下我前几天做的一个作业了，当时我用python写了个程序，结果运行了一天，这个速度可让我愁了，我还怎么优化，怎么交作业啊。于是就去各大论坛寻丹问药了，终于让我发现可以用并行计算来最大化压榨电脑的CPU，提升计算效率，而且python里有multiprocessing这个库可以提供并行计算接口，于是小子花1天时间改进程序，终于在规定时间内做出了自己满意的结果，上交了作业。

之后，对并行计算充满了兴趣，于是又重新在Google上游历了一番，大致弄清了GPU、CPU、进程、线程、并行计算、分布式计算等概念，也把python的multiprocessing耍了一遍，现在也算略有心得了，所以来此立碑，以示后来游客。

本文分为四部分，一是大数据时代现状，其二是面对挑战的方法，然后是用python写并行程序，最后是multiprocessing实战。

一、大数据时代的现状

当前我们正处于大数据时代，每天我们会通过手机、电脑等设备不断的将自己的数据传到互联网上。据统计，YouTube上每分钟就会增加500多小时的视频，面对如此海量的数据，如何高效的存储与处理它们就成了当前最大的挑战。

但在这个对硬件要求越来越高的时代，CPU却似乎并不这么给力了。自2013年以来，处理器频率的增长速度逐渐放缓了，目前CPU的频率主要分布在3_{4GHz。这个也是可以理解的，毕竟摩尔定律都生效了50年了，如果它老人家还如此给力，那我们以后就只要静等处理器频率提升，什么计算问题在未来那都不是话下了。实际上CPU与频率是于能耗密切相关的，我们之前可以通过加电压来提升频率，但当能耗太大，散热问题就无法解决了，所以频率就逐渐稳定下来了，而Intel与AMD等大制造商也将目标转向了多核芯片，目前普通桌面PC也达到了4}8核。

二、面对挑战的方法

咱们有了多核CPU，以及大量计算设备，那我们怎么来用它们应对大数据时代的挑战了。那就要提到下面的方法了。

2.1 并行计算

并行（parallelism）是指程序运行时的状态，如果在同时刻有多个“工作单位”运行，则所运行的程序处于并行状态。图一是并行程序的示例，开始并行后，程序从主线程分出许多小的线程并同步执行，此时每个线程在各个独立的CPU进行运行，在所有线程都运行完成之后，它们会重新合并为主线程，而运行结果也会进行合并，并交给主线程继续处理。

图一、多线程并行

图二是一个多线程的任务（沿线为线程时间），但它不是并行任务。这是因为task1与task2总是不在同一时刻执行，这个情况下单核CPU完全可以同时执行task1与task2。方法是在task1不执行的时候立即将CPU资源给task2用，task2空闲的时候CPU给task1用，这样通过时间窗调整任务，即可实现多线程程序，但task1与task2并没有同时执行过，所以不能称为并行。我们可以称它为并发（concurrency）程序，这个程序一定意义上提升了单个CPU的使用率，所以效率也相对较高。

图二、多线程并发

并行编程模型：

• 数据并行（Data Parallel）模型：将相同的操作同时作用于不同数据，只需要简单地指明执行什么并行操作以及并行操作对象。该模型反映在图一中即是，并行同时在主线程中拿取数据进行处理，并线程执行相同的操作，然后计算完成后合并结果。各个并行线程在执行时互不干扰。

• 消息传递（Message Passing）模型：各个并行执行部分之间传递消息，相互通讯。消息传递模型的并行线程在执行时会传递数据，可能一个线程运行到一半的时候，它所占用的数据或处理结果就要交给另一个线程处理，这样，在设计并行程序时会给我们带来一定麻烦。该模型一般是分布式内存并行计算机所采用方法，但是也可以适用于共享式内存的并行计算机。

什么时候用并行计算：

1. 多核CPU——计算密集型任务。尽量使用并行计算，可以提高任务执行效率。计算密集型任务会持续地将CPU占满，此时有越多CPU来分担任务，计算速度就会越快，这种情况才是并行程序的用武之地。

2. 单核CPU——计算密集型任务。此时的任务已经把CPU资源100%消耗了