python 突破 GIL 调用lua

首先是致谢，一下是一些参考的文章：

python之ThreadPoolExecutor    https://www.jianshu.com/p/1ed39de60cb6

python结合lua打破GIL的限制    https://blog.csdn.net/q_yang1987/article/details/52240611

 

记录目的（解决的问题）：

绕过全局GIL，尽可能多的使用cpu

 

特点：

使用线程池，方便调度管理

使用lua绕过GIL，使得cpu的使用率达到100%

都是脚本语言，上手简单

 

过程：

1. 安装 lupa， pip install lupa

2. 代码

import lupa
import time
from concurrent.futures import ThreadPoolExecutor

# 这里是算pi
lua_code = '''
    function()
        count = 0
        for i = 1, 10000 do
            x = math.random()
            y = math.random()
            if x*x + y*y <= 1 then
                count = count + 1
            end
        end
        return count * 4 /10000
    end
'''

old = time.time()



def wrapper(lua_func):
    return lua_func()

# 创建线程池
p = ThreadPoolExecutor(8)


res = []
# 10000个计算任务
for _ in range(10000):
    res.append(p.submit(lupa.LuaRuntime().eval(lua_code)))
# res 收集到的结果是feature， 需要通过.result获得结果
# 值得注意的是，.result()操作会重新激活GIL，所以要放在最后
res = list(map(lambda x: x.result(), res))

# 线程池可以使用shubmit提交也可以使用map

# lua_funcs = [lupa.LuaRuntime().eval(lua_code) for _ in range(10000)]
# res = list(p.map(wrapper, lua_funcs))

print(time.time() - old)
print(res[0])
print(sum(res)/10000)