Python中的GIL锁与解决办法

GIL锁:全局解释器锁。每个线程在执行的过程中都需要先获取GIL,保证同一时刻只有一个线程可以执行代码。

现象:开启多线程无法真正利用多核CPU,如两个线程死循环,两核CPU各为50%利用率。而两个进程死循环,两核CPU利用率都为100%。此时在计算密集型操作时,多线程如同单线程。但在IO密集型操作时,多线程可以利用IO等待时间。

python使用多进程可以利用多核的CPU资源,多线程却无法利用多核的CPU资源。

原因:由于历史原因在Cpython虚拟机(解释器)难以移除GIL。

解决办法

  1. 换解释器,避免用c语言写的解释器。
  2. 用其他语言替代线程中所做的事。
  • 用c语言写线程中的函数:
void DeadLoop()
{
    while(1)
    {
	;
    }
}
  • 把c语言文件编译成一个动态库的命令(Linux平台):
gcc xxx.c -shared -o libxxx.so
  •  在python中加载动态库并让子线程执行c语言编写的函数

 

from ctypes import *
from threading import Thread

# 加载动态库
lib = cdll.LoadLibrary("./libdead_loop.so")

# 创建一个子线程,让其执行c语言编写的函数,此函数是一个循环
t = Thread(target=lib.DeadLoop)
t.start()

# 主线程
while True:
    pass

 

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
PythonGIL(全局解释器)是一种机制,它确保在任何给定时间只有一个线程在解释器执行字节码。这意味着在多线程的情况下,Python的多线程并不能真正实现并行执行,而只是并发执行。 GIL的存在是为了保护Python解释器内部数据结构的一致性,因为这些数据结构在多线程环境下可能会出现竞争条件。然而,这也导致了Python在处理计算密集型任务时的性能问题,因为只有一个线程可以执行字节码。 虽然GIL对于IO密集型任务并不是一个问题,因为线程在等待IO操作完成时会释放GIL,但对于计算密集型任务,GIL会成为性能瓶颈。 要解决GIL的限制,有几种方法可以尝试: 1. 使用多进程而不是多线程:Python的multiprocessing模块提供了一种在多个进程执行任务的方式,每个进程都有自己的解释器和GIL。这样可以实现真正的并行执行。你可以使用multiprocessing模块来将计算密集型任务分配给多个进程执行。 2. 使用其他解释器:除了CPython,还有其他的Python解释器,如Jython、IronPython和PyPy。这些解释器没有GIL的限制,因此可以实现真正的并行执行。但需要注意的是,这些解释器可能不支持所有的Python库和功能。 3. 使用C扩展:对于计算密集型任务,可以使用C扩展来绕过GIL。通过将计算部分的代码编写为C扩展,可以在不受GIL限制的情况下执行计算。 下面是一个使用多进程的示例代码,演示了如何绕过GIL实现并行执行: ```python from multiprocessing import Pool def calculate_square(n): return n * n if __name__ == '__main__': numbers = [1, 2, 3, 4, 5] pool = Pool() result = pool.map(calculate_square, numbers) print(result) ```

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值