多进程(multiprocessing)和多线程(multithreading)
首先介绍一下并行与并发的区别:
- 并发(concurrency):是指多个操作可以在重叠的时间段内进行,例如在第一个时间片内,线程 A 执行,线程 B 阻塞;第二个时间片内,线程 B 等待 I/O,而线程 A 执行;第三个时间片内,线程 A 执行,而线程 B 还在等待 I/O。
- 并行(parallelism):是指多个操作在同一时间点上进行。无论在哪个时间片里,两个线程可能同时处于某一状态。例如在第一个时间片内,线程 A 执行,线程 B 执行;第二个时间片内,线程 A 等待 I/O,线程 B 也在等待 I/O ;第三个时间片内,线程 A 执行,而线程 B 也 执行。
多线程意味着我们在使用并发这种线程模型,而多进程则是在使用并行这一线程模型,其各有利弊:
- 多线程并发的优势为:可共享内存空间,方便交换数据;劣势为:会同时写入内存将导致数据损坏。
- 多进程并行的优势为:内存空间独立(恰来自其劣势);劣势为:进程间交互需要序列化-通信-反序列化。
多进程适用的场景
- CPU 占用率高
- 子进程间通信简单
- 相关变量和函数可被序列化,但占用内存较小
多线程适用的场景
- CPU 占用率低
- I/O 负载高
- 子任务需要共享内存