在使用多线程的时候,由于使用的是c语言的解释器,c语言解释器存在一个历史问题,那就是同一时刻只能运行一个线程
,这就使得需要不停的来回切换线程的,每个线程在执行的过程都需要先获取GIL
,保证同一时刻只有一个线程
可以执行代码。
GIl就相当于一个锁,当一个线程用时将线程锁上,其他线程不能用,在极短的时间里,不同线程之间来回切换,实现多线程
计算密集型
大量的时间来计算数据的程序用多进程
io密集型
大量时间用来读写,等待网络连接,用多线程,协程
多进程每个核都用
多线程只用一个核
GIL面试题如下
描述Python GIL的概念, 以及它对python多线程的影响?编写一个多线程抓取网页的程序,并阐明多线程抓取程序是否可比单线程性能有提升,并解释原因。
参考答案:
-
Python语言和GIL没有半毛钱关系。仅仅是由于历史原因在Cpython虚拟机(解释器),难以移除GIL。
-
GIL:全局解释器锁。每个线程在执行的过程都需要先获取GIL,保证同一时刻只有一个线程可以执行代码。
-
线程释放GIL锁的情况: 在IO操作等可能会引起阻塞的system call之前,可以暂时释放GIL,但在执行完毕后,必须重新获取GIL
Python 3.x使用计时器(执行时间达到阈值后,当前线程释放GIL)或Python 2.x,tickets计数达到100 -
Python使用多进程是可以利用多核的CPU资源的。
-
多线程爬取比单线程性能有提升,因为遇到IO阻塞会自动释放GIL锁
如何解决GIL的问题?
1,换解释器,将cpython解释器换为其他解释器、
2,让Python调用执行其他语言