python并发

为什么要使用并发编程

目的

为了提升程序运行速度

如：在爬虫中任务量大，按照顺序爬取需要大量时间，所以采用并发可大大缩短时间

提升程序运行速度的方法

python中对于并发编程的支持

多线程：threading，利用CPU和IO可以同时执行的原理，让CPU不会干等IO结束

多进程：multiprocessing，利用多核CPU的能力，真正的并行执行任务

异步：asyncio，在单线程利用CPU和IO同时执行的原理，实现函数 异步执行

什么是CPU密集型计算、IO密集型计算？

CPU密集型：

CPU密集型计算也叫计算密集型，是指I/O在很短的时间就可以完成，CPU需要大量的计算和处理，特点是CPU占用率相当高

例如：加密解密，编码解码，压缩解压缩，正则匹配

IO密集型：

IO密集型指的是系统运作大部分的 状况是CPU在等I/O(硬盘/内存)的读写，CPU占用率很低

例如:文件处理程序、爬虫、数据库操作等

多线程、多进程、多协程对比

多进程

• 优点：可以利用多核CPU并行运算
• 缺点：占用资源最多，可启动数目比线程少
• 适用于：CPU密集型计算

多线程

• 优点：相比进程，更轻量级，占用资源少

• 缺点

  • 相比进程：多线程只能并发执行，不能利用多CPU

  • 相比协程：启动数目有限制，占用内存资源，有线程切换开销

• 适用于：IO密集型计算、同时运行的任务数目要求不多

多协程

• 优点：内存开销最少，启动协程数目最多
• 缺点：支持的库有限制，代码复杂
• 适用于：IO密集型计算，需要超多任务运行

怎样选择对应技术？

数目最多

• 缺点：支持的库有限制，代码复杂
• 适用于：IO密集型计算，需要超多任务运行

怎样选择对应技术？