Python中的多进程与多线程（一）

一、背景

　　最近在Azkaban的测试工作中，需要在测试环境下模拟线上的调度场景进行稳定性测试。故而重操python旧业，通过python编写脚本来构造类似线上的调度场景。在脚本编写过程中，碰到这样一个需求：要在测试环境创建10000个作业流。

　　最开始的想法是在一个azkaban project下循环调用10000次create job接口（每个Flow只包含一个job）。由于azkaban它本身没有增加/删除作业流的接口，所有的作业流修改、增加、删除其实都是通过重新上传项目zip包实现的，相应地每次调猛犸前端的create job接口，实际上是在猛犸端对zip包的内容进行了重新的整合后再重新上传zip包到azkaban，整个过程可以拆解成如下过程：解压zip包获得zip包内容，变更zip包内的文件内容，重新打包zip包，上传到azkaban。因此，随着循环次数越往后，zip包包含的内容会越多，接口执行一次的时间就越长。实践发现，第一次调该接口的时间大致不到1秒，到循环1000次的时候接口调用一次的时间就达到了将近3秒。因此，如果指望一个循环10000次来构造该场景，显然要耗费巨大的时间。

　　在此背景下， 自然而然地就想到用多进程/多线程的方式来处理该问题。

二、“多任务”的操作系统基础

　　大家都知道，操作系统可以同时运行多个任务。比如你一边听音乐，一边聊IM，一边写博客等。现在的cpu大都是多核的，但即使是过去的单核cpu也是支持多任务并行执行。

　　单核cpu执行多任务的原理：操作系统交替轮流地执行各个任务。先让任务1执行0.01秒，然后切换到任务2执行0.01秒，再切换到任务3执行0.01秒...这样往复地执行下去。由于cpu的执行速度非常快，所以使用者的主观感受就是这些任务在并行地执行。

　对于操作系统来说，一个应用就是一个进程。比如打开一个浏览器，它是一个进程；打开一个记事本，它是一个进程。每个进程有它特定的进程号。他们共享系统的内存资源。进程是操作系统分配资源的最小单位。

　　而对于每一个进程而言，比如一个视频播放器，它必须同时播放视频和音频，就至少需要同时运行两个“子任务”，进程内的这些子任务就是通过线程来完成。线程是最小的执行单元。一个进程它可以包含多个线程，这些线程相互独立，同时又共享进程所拥有的资源。

三、Python多进程编程

　　1. multiprocessing

　　multiprocessing是Python提供的一个跨平台的多进程模块，通过它可以很方便地编写多进程程序，在不同的平台（Unix/Linux, Windows）都可以执行。

　　下面就是使用multiprocessing编写多进程程序的代码：　　

#