【Cpython的GIL详细了解一下?】

全局解释器锁(GIL)是CPython解释器中的一个同步原语,限制同一时间只有一个线程执行Python字节码。GIL对于I/O密集型任务影响较小,但在计算密集型任务中可能导致性能瓶颈。为绕过GIL,可以使用多进程、其他Python实现如PyPy或Jython,或使用C/C++扩展。GIL的存在主要是为了内存管理和线程安全,但限制了多核处理器上的并行性。
摘要由CSDN通过智能技术生成

在这里插入图片描述

简单解释

全局解释器锁(Global Interpreter Lock,简称 GIL)是 CPython 解释器内部的一个同步原语,它用于在同一时间只允许一个线程执行 Python 字节码。

GIL 的工作原理如下:

  1. 在 CPython 中,每个线程都需要获得 GIL 才能执行 Python 字节码。
  2. 当一个线程获得 GIL 后,其他线程就不能执行 Python 字节码,只能等待 GIL 被释放。
  3. 在 I/O 操作、调用 C 扩展或者达到一定的字节码执行次数后,线程会自动释放 GIL,允许其他线程执行。

尽管 GIL 限制了多线程并行性,但对于 I/O 密集型任务,它不会带来太大影响。在这种情况下,线程经常在等待 I/O 操作完成,而不是竞争 CPU 资源,因此 GIL 对性能的影响较小。

然而,对于计算密集型任务,GIL 可能会导致性能瓶颈。例如,假设有两个线程,每个线程都在执行密集型计算任务。由于 GIL 的存在,这两个线程不能同时在多核处理器上运行,而是必须串行执行。这种情况下,Python 多线程性能可能不如单线程。

为了绕过 GIL,可以采用以下方法:

  1. 使用多进程,而非多线程。每个进程都有自己的 Python 解释器和内存空间,因此 GIL 不会影响多进程之间的并行性。
  2. 使用其他 Python 实现,如PyPyJython,它们没有 GIL 限制。
  3. 使用 C 或 C++ 扩展,将计算密集型任务放在 C/C++ 代码中执行,从而避免 GIL。

GIL的历史原因

GIL 存在的主要原因是为了确保 CPython 解释器在多线程环境下的内存管理和对象操作的线程安全。GIL 的历史可以追溯到 1990 年代初期,Python 的创始人 Guido van Rossum 在设计 Python 时,引入了 GIL 作为一个简单有效的解决方案。

CPython 使用引用计数来管理对象的内存。当一个对象的引用计数变为 0 时,对象所占用的内存将被释放。在多线程环境下,如果没有 GIL,多个线程可能同时对同一个对象的引用计数进行操作,导致竞争条件和内存泄漏等问题。

为了解决这个问题,可以引入一些复杂的同步机制,如每个对象都有自己的锁。然而,这样的设计会导致大量的锁竞争和死锁等问题,以及增加实现的复杂性。相比之下,GIL 是一个简单有效的解决方案,只需要保证在同一时刻只有一个线程执行 Python 字节码,就可以避免这些问题。

然而,GIL 的引入导致了一个明显的副作用,即限制了 Python 多线程程序在多核处理器上的并行性。随着多核处理器的普及,这个问题愈发突出。尽管如此,GIL 仍然存在于 CPython 中,这是因为移除 GIL 并替换为其他线程安全机制需要对整个 CPython 解释器进行重大改动,这可能导致许多现有的 Python 应用程序和 C 扩展无法正常工作。

为了避免 GIL 带来的性能限制,开发者可以选择其他没有 GIL 限制的 Python 实现(如 JythonPyPy 等),或者使用多进程、C/C++ 扩展等方法。

看点源码

CPython 源码中,GIL 是通过 PyThread_type_lock 数据结构实现的。具体的实现可能因 CPython 版本和平台而异。以下是在 CPython 3.9 源码中,GIL 的关键部分。

  1. Python/pystate.h 文件中,可以找到 GIL 的声明:
PyAPI_DATA(PyThread_type_lock) _PyRuntimeState.ceval_gil;
  1. Python/ceval_gil.h 文件中,定义了用于获取和释放 GIL 的宏:
/* Lock and unlock the global interpreter lock (GIL) */

#define _PyEval_AcquireThread(tstate) \
    do { PyThread_acquire_lock(_PyRuntime.ceval_gil, WAIT_LOCK); } while (0)

#define _PyEval_ReleaseThread(tstate) \
    do { PyThread_release_lock(_PyRuntime.ceval_gil); } while (0)

#define _PyEval_AcquireInterpreter(interp) \
    do { PyThread_acquire_lock((interp)->ceval_gil, WAIT_LOCK); } while (0)

#define _PyEval_ReleaseInterpreter(interp) \
    do { PyThread_release_lock((interp)->ceval_gil); } while (0)
  1. Python/ceval.c 文件中,可以找到 GIL 的初始化和释放操作:
void
_PyEval_FiniThreads(void)
{
    /* Destroy the GIL */
    PyThread_free_lock(_PyRuntime.ceval_gil);
}

int
_PyEval_InitThreads(PyThreadState *tstate)
{
    if (!_PyRuntime.ceval_gil) {
        _PyRuntime.ceval_gil = PyThread_allocate_lock();
        PyThread_acquire_lock(_PyRuntime.ceval_gil, WAIT_LOCK);
    }
    return 0;
}

在 Python 字节码的执行过程中,_PyEval_AcquireThread_PyEval_ReleaseThread 宏用于获取和释放 GIL。在实际使用中,还有一些其他函数和宏用于管理 GIL,例如在调用 C 扩展时,可以使用 Py_BEGIN_ALLOW_THREADSPy_END_ALLOW_THREADS 宏临时释放 GIL。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值