本文探讨了CPU密集型和IO密集型任务的特点，CPU密集型任务如压缩解压、加密解密主要消耗CPU资源，而IO密集型任务如文件读写则更多等待I/O操作。针对不同任务类型，文章介绍了多进程、多线程和多协程的优缺点及适用场景。多进程能充分利用多核CPU，但资源占用高；多线程适合IO密集型，但受GIL限制无法有效利用多核；多协程在内存开销和启动数量上有优势，适合大量IO密集型任务。
CPU密集型（CPU-bound）：
CPU密集型也叫计算密集型，是指I/O在很短的时间就可以完成，CPU需要大量的计算和处理，特点是CPU占用率相当高
eg：压缩解压缩，加密解密，正则表达式搜索
IO密集型（I/O bound）：
IO密集型指的是系统运作大部分的状况是CPU在等I/O（硬盘/内存）的读写操作，CPU占用率比较低
多进程Process（multiprocessing）
一个进程中可以启动N个线程
优点：可以利用多核CPU并行计算
缺点：占用资源最多，可启动数目比线程少
适用于：CPU密集型计算
多线程Thread（threading）
一个线程中可以启动N个协程
优点：相比进程，更轻量级占用资源少
缺点：相比进程：多线程只能并发进行，不能利用多CPU（GIL）
相比协程：启动的数目有限制，占用内存资源，有线程切换开销
适用于：IO密集型计算、同时运行的任务数目要求不多
多协程Coroutine（asyncio）
优点：内存开销最少、启动协程数量最多
缺点：支持的库有限制、代码实现复杂
适用于：IO密集型计算、需要超多任务运行、但有现成库支持的场景
扫一扫
170
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
