Python学习笔记-浅析CPython解析器 GIL（全局解释器锁）

前言

最近学习python语法，在学习中遇到一些知识点想记录下来，方便日后巩固复习！

 

什么是GIL（全局解释器锁）

首先需要明确的一点是GIL并不是Python的特性，它是在实现Python解析器(CPython)时所引入的一个概念。就好比C++是一套语言（语法）标准，但是可以用不同的编译器来编译成可执行代码。有名的编译器例如GCC，INTEL C++，Visual C++等。Python也一样，同样一段代码可以通过CPython，PyPy，Psyco等不同的Python执行环境来执行。像其中的JPython就没有GIL。然而因为CPython是大部分环境下默认的Python执行环境。所以在很多人的概念里CPython就是Python，也就想当然的把GIL归结为Python语言的缺陷。所以这里要先明确一点：GIL并不是Python的特性，Python完全可以不依赖于GIL。（百度过来的解释）

 

为什么会有GIL呢？

GIL 由于历史原因，龟叔在python中引进了GIL，保证每一个进程任何时候只有一个线程来执行，获取锁并获取资源，避免了多线程并发执行，保证了线程的安全。而当越来越多的代码库开发者接受了这种设定后，他们开始大量依赖这种特性（即默认python内部对象是thread-safe的，无需在实现时考虑额外的内存锁和同步操作）。慢慢的这种实现方式被发现是蛋疼且低效的。但当大家试图去拆分和去除GIL的时候，发现大量库代码开发者已经重度依赖GIL而非常难以去除了。

Guido的声明：http://www.artima.com/forums/flat.jsp?forum=106&thread=214235

he language doesn't require the GIL -- it's only the CPython virtual machine that has historically been unable to shed it.

译文：这种语言不需要GIL——只有CPython虚拟机一直无法摆脱GIL。

 

GIL带来的影响

从官方的定义来看，GIL无疑就是一把全局排他锁。毫无疑问全局锁的存在会对多线程的效率有不小影响。甚至就几乎等于Python是个单线程的程序。
那么读者就会说了，全局锁只要释放的勤快效率也不会差啊。只要在进行耗时的IO操作的时候，能释放GIL，这样也还是可以提升运行效率的嘛。或者说再差也不会比单线程的效率差吧。理论上是这样，而实际上呢？Python比你想的更糟。

上述所说的是IO密集型系统，当线程请求进行操作磁盘的时候，当前线程就会等待，GIL就会释放，下一个线程获取GIL锁，也是同样操作磁盘或者请求网络，这个时候当前线程也会等待，这样多线程下的运行性能基本与单线程持平；

如果是计算密集型系统的话，GIL带来的性能瓶颈是巨大的。

 

那么我们如何解决这个问题呢？

1、只有cpython有GIL，我们可以跟换其他解析器，例如： jpython

2、换多进程 少用线程

3、调用其他语言实现，用C语言扩展、或者java拓展

面试常问

描述Python GIL的概念， 以及它对python多线程的影响？编写一个多线程抓取网页的程序，并阐明多线程抓取程序是否可比单线程性能有提升，并解释原因。

1. Python语言和GIL没有半毛钱关系。仅仅是由于历史原因在Cpython虚拟机(解释器)，难以移除GIL。

2. GIL：全局解释器锁。每个线程在执行的过程都需要先获取GIL，保证同一时刻只有一个线程可以执行代码。

3. 线程释放GIL锁的情况： 在IO操作等可能会引起阻塞的system call之前,可以暂时释放GIL,但在执行完毕后,必须重新获取GIL Python 3.x使用计时器（执行时间达到阈值后，当前线程释放GIL）或Python 2.x，tickets计数达到100

4. Python使用多进程是可以利用多核的CPU资源的。

5. 多线程爬取比单线程性能有提升，因为遇到IO阻塞会自动释放GIL锁