Python并发编程-2、怎样选择多线程、多进程和多协程?

Python并发编程有三种方式:
多线程Thread、多进程Process、多协程Coroutine

本节提纲

1、什么是CPU密集型计算、IO密集型计算?
2、多线程、多进程、多协程的对比
3、怎样根据任务选择对应技术?

什么是CPU密集型计算、IO密集型计算?

CPU密集型(CPU-bound):

CPU密集型也叫计算密集型,是指I/O在很短的时间就可以完成,CPU需要大量的计算和处理,特点是CPU占有率相当高
例如:压缩解压缩、加密解密、正则表达式搜索

IO密集型(I/O-bound):

IO密集型指的是系统运作大部分的状况是CPU在等I/O(硬盘/内存)的读/写操作,CPU占有率仍然较低。
例如:文件处理程序、网络爬虫程序、读写数据库程序

多线程、多进程、多协程的对比

多进程 Process (multiprocessing):

● 优点:可以利用多核CPU并行运算
● 缺点:占用资源最多、可启动数目比线程少
● 适用于:CPU密集型计算

多线程 Thread (threading):

● 优点:相比进程,更轻量级、占用资源少
● 缺点:
○ 相比进程:多线程只能并发执行,不能利用多CPU(GIL)
○ 相比协程:启动数目有限制,占用内存资源,有线程切换开销
● 适用于:IO密集型计算、同时运行的任务数目要求不多

多协程 Coroutine (asynio):

● 优点:内存开销最少、启动协程数量最多
● 缺点:支持的库有限制(aiohttp VS requests)、代码实现复杂
● 适用于:IO密集型计算、需要超多任务运行、但有现成支持的场景
一个进程中可以启动N个线程
一个线程中可以启动N个协程

怎样根据任务选择对应技术?

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值