多线程、多进程、协程的区别

一.cpu密集型计算（CPU-bound） 和 IO密集型计算(I/O bound)

1 . cpu密集型计算（CPU-bound）:

    CPU密集型也叫计算机密集型， 是指 I/O 在很短的时间就可以完成，CPU需要大量的计算和处理，特点是 CPU 占用率相当高。
    比较理想方案是： 线程数= CPU核数
    例如: 压缩解压缩、加密解密、正则表达式搜索、计算圆周率，判断素数、视频解码等

2，IO密集型计算(I/O bound)：

    IO密集型指的是系统运作大部分的状况是CPU在等IO(硬盘/内存）的读/写操作，CPU占用率任然较低。
    对于IO密集型应用：线程数= CPU核心数/(1-阻塞系数)

    例如:文件处理程序、网络爬虫程序、读写数据库程序、数据库、web应用等

二. Python对并发编程的支持  

     多进程：multiprocessing, 利用多核CPU的能力，真正的并行执行任务 。

     多线程：threading, 利用 CPU 和 IO 可以同时执行的原理，让 CPU 不会干巴巴等待 IO 完成。

     异步IO：asyncio, 在单线程利用 CPU 和 IO 同时执行的原理，实现函数异步执行。

三. 多进程、多线程、多协程的对比

    1. 多进程Process(multiprocessing)

                  
            -优点:可以利用多核CPU并行运算
            -缺点:占用资源最多、可启动数目比线程少
            -适用于:CPU密集型计算

    2. 多线程Thread(threading)

     
            -优点:相比进程，更轻量级、占用资源少-
            -缺点:
                -相比进程:多线程只能并发执行，不能利用多CPU(GIL)
                -相比协程:启动数目有限制,占用内存资源，有线程切换开销
            -适用于:IO密集型计算、同时运行的任务数目要求不多

    3. 多协程Coroutine(asyncio):

       
            -优点:内存开销最少、启动协程数量最多
            -缺点:支持的库有限制(aiohttp vs requests)、代码实现复杂
            -适用于:IO密集型计算、需要超多任务运行、但有现成库的场景

四.怎样根据任务选择相应的技术

        1.等待执行的任务，

        2.对任务特点进行判断

                -CPU密集型就选择 —— 多进程（multiprocessing）

                -IO密集型：

                        （1）需要超多任务量

                        （2）有现成协程库支持

                        （3)协程实现复杂度可以接受   —— 多协程（asyncio）

                 ——选择多线程（threading）