Python并发编程

并发技术

• 多线程：threading，利用CPU和IO可以同时执行的原理
• 多进程：multiprocessing，利用多核CPU的能力，真正的并行执行任务
• 异步IO：asyncio，在单线程利用CPU和IO同时执行的原理，实现函数异步执行
• 使用Lock对资源加锁，防止冲突访问
• 使用Queue实现不同线程/进程之间的数据通信，实现生产者-费模式
• 使用线程池Pool/进程池Pool，简化线程/进程的任务提交、等待结束、获取结果
• 使用subprocess启动外部程序的进程，并进行输入输出交互

CPU密集型

• 使用多进程

IO密集型

• 多线程
• 多协程

多线程Thread

• 优点：相比进程，更轻量级、吃用资源少
• 缺点：
  • 相比进程：多线程只能并发执行，不能利用多CPU（GIL）
  • 相比协程：启动数目有限制，占用内存资源，有线程切换开销
• 适用于：I0密集型计算、同时运行的任务数目要求不多

多进程Process（multiprocessing）

• 一个进程可以启动N个线程
• 优点：可以利用多核CPU并行运算
• 缺点࿱