一.cpu密集型计算(CPU-bound) 和 IO密集型计算(I/O bound)
1 . cpu密集型计算(CPU-bound):
CPU密集型也叫计算机密集型, 是指 I/O 在很短的时间就可以完成,CPU需要大量的计算和处理,特点是 CPU 占用率相当高。
比较理想方案是: 线程数= CPU核数
例如: 压缩解压缩、加密解密、正则表达式搜索、计算圆周率,判断素数、视频解码等
2,IO密集型计算(I/O bound):
IO密集型指的是系统运作大部分的状况是CPU在等IO(硬盘/内存)的读/写操作,CPU占用率任然较低。
对于IO密集型应用:线程数= CPU核心数/(1-阻塞系数)
例如:文件处理程序、网络爬虫程序、读写数据库程序、数据库、web应用等
二. Python对并发编程的支持
多进程:multiprocessing, 利用多核CPU的能力,真正的并行执行任务 。
多线程:threading, 利用 CPU 和 IO 可以同时执行的原理,让 CPU 不会干巴巴等待 IO 完成。
异步IO:asyncio, 在单线程利用 CPU 和 IO 同时执行的原理,实现函数异步执行。
三. 多进程、多线程、多协程的对比
1. 多进程Process(multiprocessing)
-优点:可以利用多核CPU并行运算
-缺点:占用资源最多、可启动数目比线程少
-适用于:CPU密集型计算
2. 多线程Thread(threading)
-优点:相比进程,更轻量级、占用资源少-
-缺点:
-相比进程:多线程只能并发执行,不能利用多CPU(GIL)
-相比协程:启动数目有限制,占用内存资源,有线程切换开销
-适用于:IO密集型计算、同时运行的任务数目要求不多
3. 多协程Coroutine(asyncio):
-优点:内存开销最少、启动协程数量最多
-缺点:支持的库有限制(aiohttp vs requests)、代码实现复杂
-适用于:IO密集型计算、需要超多任务运行、但有现成库的场景
四.怎样根据任务选择相应的技术
1.等待执行的任务,
2.对任务特点进行判断
-CPU密集型就选择 —— 多进程(multiprocessing)
-IO密集型:
(1)需要超多任务量
(2)有现成协程库支持
(3)协程实现复杂度可以接受 —— 多协程(asyncio)
——选择多线程(threading)