Python并发编程的三种方式:
一个进程中可以启动N个线程:多线程和多进程;
一个线程中可以启动N个协程:多协程。
1.多进程Process(multiprocessing)
优点:可以利用多核CPU并行运算
缺点:占用资源多、可启动数目比线程少
适用于:CPU密集型计算
2.多线程Thread(threading)
优点:相比进程,更轻量级、占用资源少
缺点:
相比进程,python多线程只能并发执行,不能利用多CPU(GIL);(只能使用一个CPU)
相比协程,启动数目有限制,占用内存资源,有线程切换开销
适用于:I/O密集型计算、同时运行的任务数目要求不多
3.多协程Coroutine(asyncio)
优点:内存开销最少、启动协程数量最多
缺点:支持的库有限制(aiohttp可以用,requests不能用)、代码实现复杂
适用于:IO密集型计算、需超多任务运行、但有现成库支持的场景
【概念】CPU密集型计算和IO密集型计算:
CPU密集型:
即计算密集型,I/O在很短的时间就可以完成,但CPU需要大量的计算和处理,特点是CPU占用率很高
例如:压缩和解压缩、加密和解密、正则表达式搜索
IO密集型:
指系统运作大部分的状况是CPU在等I/O(硬盘/内存)的读/写操作,CPU占用率较低。
例如:文件处理程序、网络爬虫程序、读写数据库
三种技术如何选择?
1.如果是CPU密集型,首选多进程multiprocessing
2.如果需要超多任务量,倾向于多协程;
3.如果没有有现成协程库支持,无法选择多协程asynico,只能选择多线程threading;
4.如果协程的程序复杂度过高,那就选择多线程threading。
参考资料:
B站《怎样选择多进程多线程和多协程》