python的并发编程详解

进程

multiprocessing

概念：程序运行的 实例，是系统资源分配和调度的的最小单位

任务实例拆分成更小的模块，在给线程使用，线程共享进程空间，线程再分就是协程。

多进程适合于cpu密集型

**cpu密集型：**计算密集型，特点是cpu占用率高

i/o密集型: 磁盘读写多，CPU占用率不高

语法条目	多线程	多进程
模块	from threading import Thread	from multiprocessing import Process
新建 启动 等待结束	t = Thread(target=func, args=(100,)) t.start() t.join()	p=Process(target=f, args=(100,)) p.start() p.join()
队列	import queue q = queue.Queue() q.put(item) #放入队列 item.q.get()	from multiprocessing import Queue q = Queue() q.put(item) item = q.get()
自身池化	from multiprocessing.pool import ThreadPool pool=ThreadPool(2) res = spool.apply_async(func,args=(1,2),kwds={}) #kwds类似kwargs pool.close() #结束接受进程池中的任务 pool.join() #感知进程池中的任务已经结束。所以必须先停止接受 res.get() #这里取结果 ####同步 res = pool.apply(func,args=(1,2),kwds={}) print(res)	from multiprocessing import Pool pool=Pool(2) res = pool.apply_async(func,args=(1,2),kwds={}) pool.close() #结束接受进程池中的任务 pool.join() #感知进程池中的任务已经结束。所以必须先停止接受 res.get() #这里取结果 ####同步 res = pool.apply(func,args=(1,2),kwds={}) print(res)
模块池化(简单常用)	from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor with ThreadPoolExecutor() as pool: #法一map(func,iter_var) results = pool.map(is_prime, iter_var) #map对应的是可以迭代的,submit不行 for res in results: print(res) #法二 for var in iter_var: future = pool.submit(func, var) result = future.result()	from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor with ProcessPoolExecutor() as pool: #法一map(func,iter_var) results = pool.map(is_prime, iter_var) #map对应的是可以迭代的,submit不行 for res in results: print(res) #法二 for var in iter_var: future = pool.submit(func, var) result = future.result()

注：多进程池和多进程都要放在main中声明

扩展链接：
1）python多进程详解
2）python进程间通信详解

线程

threading

概念：程序最小的执行单位，优势切换快速。

**原理：**线程运行在cpu上是，遇到i/o阻塞就切换，利用CPU和IO可以同时执行的原理实现并行

python存在全局锁gil（Global interpreter lock）：每次线程只能获取一个cpu的使用权。目的为了线程安全，也就是解决了多线程之间的数据完整性和状态同步加的锁。

举例：同一时刻，两线程释放资源，这是正好线程切换，会导致对象被释放两次。

代码里可以用time.sleep（）模拟阻塞

由于GIL的原因，CPU密集型（计算量大）不适合发挥多核优势，所以多线程更适合于i/o密集型。

线程安全

• Lock资源加锁，

• Queue实现进程、线程间通信

• 使用线程池/进程池Pool，简化任务提交

  使用subprocess 启动外部程序进程，进行输入输出交互

扩展链接：
1）python线程详解
2）python线程池详解

异步IO（协程）

协程 (corountine)：又称微线程，一个线程启动多个协程。

asyncio，在单线程利用CPU和IO同时执行的原理，实现函数异步执行。

核心原理：

扩展链接

1）python协程使用

总结

• 进程就是一个程序，有独立的空间和资源. 当进程数大于CPU时,等待运行的进程会等到其他进程运行完，在运行。
• 线程就是子程序或者说是一段函数。操作系统阻塞了。比如：time.sleep()，就中断切换。
• 协程也是子程序，但是执行过程中。用户中断，实现切换。所以也称为用户态线程。
• 线程的切换非常消耗资源。而多个协程运行在一个主线程上就行，更适合I/O密集型
• 所以常用的高性能方案是： 多进程+ 协程

参考

Lr：
1）https://www.bilibili.com/video/BV1bK411A7tV?p=2
2）https://zhuanlan.zhihu.com/p/169426477