python进程和线程对应模块_理解Python中进程和线程模块

工作上刚好遇到需要用多进程方法提高程序运行效率的问题，梳理一下如何使用Python中线程(threading)，子进程(subprocess)和多进程(multiprocessing)模块来实现并发/并行操作，提高代码效率。本文重在比较各模块的适用场景，每个模块的用法只做简单概述。

1，线程和进程的区别是什么？

简言之，一个任务就是一个进程，而线程是任务中最小执行单元。多个线程可以存在于同一个进程之中，同一个进程里的线程之间共享同一块内存区域(这意味着不同线程可能会读写同一个变量，线程彼此干扰)。进程不共享内存，进程间的交互需要通过其他方式(如files，pipes 或 sockets)。

多线程编程的优点在于线程创建和管理比进程更快，线程内通信速度也更快，线程的缺点在于线程有相互干扰风险，需要保证共享数据有序地修改，编程难度更大。

2， Python GIL全局解释器锁概述

GIL全称Global Interpreter Lock，中文名：全局解释器锁。python代码的执行由python主解释器(最常见的为CPython)来控制。GIL控制着python解释器的访问权限，从而保证同一时刻只有一个线程在运行。

每个线程执行前需先获取GIL，在跑多线程的情况下，始终只有一个线程在CPU上运行。因此Python通常只能发挥单核的功能，程序效率并不高。

3，多进程mutilprocessing

mutilprocessing包支持在python程序中启动新的进程，很大程度上可以弥补因GIL导致的程序低效，因为每个进程使用独立的GIL，在多核CPU上可以并行多个进程。

最基础的用法是通过multiprocessing.Process对象创建一个新进程：

P = multiprocessing.Process( target=None, args=())  #创建进程，target参数传入可调用的函数，通过args为该函数传参

P.start()  #启动进程

P.join()  #等待进程结束

如果需要创建多个子进程，可以采用进程池，Pool返回的是进程的集合，适合对进程进行批量处理：

pl=multiprocessing.Pool(processes=None) #创建进程池，processes为进程数量,如果为None，则使用os.cpu_count()返回值

pl.apply_async(func, args=(),callback=None)  #单独地执行子进程func，执行完后调用callback

pl.map(func, iterable)   #批量执行子进程func

pl.close() #关闭进程池，关闭后不能往pool中增加新的子进程

pl.join()  #等待进程池中的子进程执行完毕,需在close()后调用

如果多进程间需要数据通信，我们可以用multiprocessing.Manager：

manager= multiprocessing.Manager()  #创建共享数据对象

m_list=manager.list()     #设置列表共享对象

m_dict=manager.dict()  #设置字典共享对象

4， 子进程库subprocess

同样是关于创建子进程的模块，subprocess和multiprocessing的区别在于，前者更适用执行外部的程序或命令行(multiprocessing其实也能调用外部程序，只是由于机制不同，会比subprocess更占用资源)，后者更适合调用当前文件内的某个函数作为子进程。

subprocess模块中进程的创建与管理是通过Popen类来实现：

P = subprocess.Popen(args)   #启动子进程，args表示要执行的命令

P.wait()  #等待子进程结束

基于Popen的封装subprocess里还提供了其他创建子进程的方法，如subprocess.run()用法和直接Popen差不多，主要区别在于无需用wait()来等待子进程完成。此外Popen支持的参数更多，以满足各种复杂的子进程使用场景。

5，线程库Threading

什么场景应该使用多线程，什么场景更适合多进程？如果你的程序需要长时间等待数据传输，适用多线程。如果你的程序时间开销主要用于CPU计算，则适合多进程。因为采用了相似的应用程序接口，线程的构造和使用的语法和multiprocessing中的进程非常相似：

t= Thread( target=None, args=())    #创建线程，target参数定义线程调用的函数，通过args为该函数传参

t.start() #启动线程

t.join()  #等待线程结束

为了操作同一块内存中的资源不产生冲突，线程模块中还提供了锁Rlock：

lock = threading.RLock()

lock.acquire()  #获得锁。线程进入同步阻塞状态

#中间可以进行数据操作

lock.release()  #释放锁

6，总结

多进程模块很好地补偿了Python中GIL机制对程序性能的限制，可以让我们充分使用多核CPU资源；多线程模块适用于优化需要长时间数据传输/文件读写的程序(如爬虫)。合理使用上述方法可以帮助我们写出更高效的程序。

*代码环境为Win10上的Python3.7.4