一:什么是cPu密集型计算,IO密集型计算
-
cpu密集型(cpu-bound)
cpu密集型也叫计算密集型,是指I/O在很短得时间就可以完成,cpu需要大量得计算和处理,特点是CPU占用率相当高。
例如:压缩解压缩,加密解密,正则表达式搜索
-
I/O密集型(I/O bound)
I/O密集型指得是系统运作大部分得状况是CPU在等I/O(硬盘/内存)的读/写操作,CPU占用率仍然较低、
例如:文件处理程序,网络爬虫程序,读写数据库程序
二:多线程、多进程、多协程的对比
进程包含线程
线程包含协程
-
多进程Process(multiprocessing)
优点:可以利用多核CPU并行运算
缺点:占用资源最多,可启动数目比线程少
适用于:CPU密集型计算
-
多线程Thread(threading)
优点:相比进程,更轻量级,占用资源少
缺点:
相比进程:多线程只能并发执行,不能利用多CPU(CIL)
相比协程:启动数目有限制,占用内存资源,有线程切换开销
适用于:IO密集型计算同时运行的任务数据要求不多
-
多协程Coroutine(asycio)
优点:内存开销最少,启动协程数量最多
缺点:支持的库有限制(aiohttp vs requests),代码实现复杂
适用于:IO密集型计算,需要超多任务运行,但有现成库支持的场景
三.GIL(全局解释器)
是计算机程序设计语言解释器用于同步线程的一种机制,它使得任何时刻仅有一个线程在执行
即便在多核处理器上,使用GIL的解释器也只允许同一时间执行一个线程
所以他会让你的多线程成为假的多线程
python设计初期,为了规避并发问题引入GIL,但后面发现GIL严重的影响了程序执行效率,现在想去除缺去不掉了!算是一种缺陷吧.