Python 运行速度慢原因之一一GIL（全局解释器锁）可视化

因为它是GIL（全局解释器锁）

现代计算机的 CPU 有多个核心，有时甚至有多个处理器。为了利用所有计算能力，操作系统定义了一个底层结构，叫做线程，而一个进程（例如 Chrome浏览器）能够生成多个线程，通过线程来执行系统指令。这样如果一个进程是要使用很多 CPU，那么计算负载就会由多个核心分担，最终使得绝大多数应用能更快地完成任务。

在撰写本文时，我的 Chrome 浏览器开了 44 个线程。另外，基于 POSIX 的操作系统（如 Mac OS 和 Linux）的线程结构和 API 与 Windows 操作系统是不一样的。操作系统还负责线程的调度。

如果你没写过多线程程序，那么你应该了解一下锁的概念。与单线程进程不同，在多线程编程中，你要确保改变内存中的变量时，多个线程不会试图同时修改或访问同一个内存地址。

CPython 在创建变量时会分配内存，然后用一个计数器计算对该变量的引用的次数。这个概念叫做“引用计数”。如果引用的数目为 0，那就可以将这个变量从系统中释放掉。这样，创建“临时”变量（如在 for 循环的上下文环境中）不会耗光应用程序的内存。

随之而来的问题就是，如果变量在多个线程中共享，CPython 需要对引用计数器加锁。有一个“全局解释器锁”会谨慎地控制线程的执行。不管有多少个线程，解释器一次只能执行一个操作。

Python GIL可视化

在这些图中，Python解释器刻度沿X轴显示。两个条表示正在执行的两个不同的线程。白色区域表示线程完全空闲的时间。绿色区域表示线程何时保持GIL并且正在运行。红色区域指示操作系统何时调度线程仅唤醒并发现GIL不可用（例如，臭名昭着的“GIL战斗”）。对于那些不想阅读的人来说，这里是图片中的传奇：

 

 

好的，现在让我们来看一些线程。首先，这是在单个CPU系统上运行两个CPU绑定线程的行为。正如您将观察到的，经过长时间的计算后，线程可以很好地相互交替。

 

 

现在，让我们来看看你的新款双核笔记本电脑的代码。佑！看看所有GIL争用。同样，所有这些红色区域表示操作系统在其中一个核心上安排Python线程的时间，但由于另一个核心上的线程正在保留它，因此无法运行。

 

 

这是一个有趣的案例，涉及与CPU绑定线程竞争的I / O绑定线程。在此示例中，I / O线程仅回显UDP数据包。这是该线程的代码。

def thread_1（port）：
    s = socket（AF_INET，SOCK_DGRAM）
    s.bind（（ “”，端口））
    而真：
        msg，addr = s.recvfrom（1024）
        s.sendto（味精，ADDR）

另一个线程（线程2）只是无意识地旋转。此图显示了向线程1发送UDP消息时发生的情况。

 

 

正如您所料，大部分时间都花在运行CPU绑定线程上。但是，当收到I / O时，I / O线程中会发生一系列活动。让我们放大该区域，看看发生了什么。

 

 

在此图中，您将看到I / O绑定获取GIL以执行少量处理的难度。例如，在UDP消息到达和成功返回s.recvfrom（）调用之间传递大约17000个解释器滴答（并注意所有GIL争用）。在执行s.sendto（）和循环回到下一个s.recvfrom（）调用之间传递了34000个滴答。不用说，这不是您通常希望进行I / O绑定处理的行为。

这对 Python 应用的性能有什么影响？

如果应用程序是单线程、单解释器的，那么这不会对速度有任何影响。去掉 GIL 也不会影响代码的性能。

但如果想用一个解释器（一个 Python 进程）通过线程实现并发，而且线程是IO 密集型的（即有很多网络输入输出或磁盘输入输出），那么就会出现下面这种 GIL 竞争：

来自于David Beazley的“图解GIL”一文：http://dabeaz.blogspot.com/2010/01/python-gil-visualized.html

如果 Web 应用（如 Django）使用了 WSGI，那么发往 Web 应用的每个请求都会由独立的 Python 解释器执行，因此每个请求都只会有一个锁。由于 Python 解释器启动很慢，一些 WSGI 实现就支持“守护模式”，保持 Python 进程长期运行。

其他 Python 运行时如何？

PyPy 的 GIL 通常要比 CPython 快三倍以上。

Jython 没有 GIL 因为 Jython 中的 Python 线程由 Java 线程表示，因此能享受到 JVM 内存管理系统的好处。

JavaScript 怎么处理这个问题i？

首先，所有 JavaScript 引擎都是用标记-清除垃圾回收算法。如前所述，对 GIL 的需求主要是由 CPython 的内存管理算法导致的。

JavaScript 没有 GIL，但它也是单线程的，所以它根本不需要。JavaScript 的时间循环和 Promise/Callback 模式实现了异步编程，取代了并发编程。Python 也能通过 asyncio 的事件循环实现类似的模式。