需求:想使用多线程处理多个文件,以提高效率
结果:没有明显提升,微秒级的差别
原因 :https://www.cnblogs.com/strive-man/p/8673489.html
背景知识:
1、GIL是什么?
GIL的全称是Global Interpreter Lock(全局解释器锁),来源是python设计之初的考虑,为了数据安全所做的决定。
2、每个CPU在同一时间只能执行一个线程(在单核CPU下的多线程其实都只是并发,不是并行,并发和并行从宏观上来讲都是同时处理多路请求的概念。但并发和并行又有区别,并行是指两个或者多个事件在同一时刻发生;而并发是指两个或多个事件在同一时间间隔内发生。)
而在python多线程下,每个线程的执行方式:
获取GIL=》执行代码直到sleep或者时python虚拟机将其挂起=》释放GIL
由此可见,如果某个线程想要执行,必须先拿到GIL,而在一个python进程中,GIL只有一个,拿不到GIL的线程,就不允许进入CPU执行。
得到原因:
每个进程有各自独立的GIL,互不干扰,这样就可以真正意义上的并行执行,所以在python中,多进程的执行效率优于多线程(仅仅针对多核CPU而言)。
附:
python3多线程的实现:
from concurrent.futures import ThreadPoolExecutor
def test(a):
print(a)
def excute():
s = ['a','b','c','d','e']
with ThreadPoolExecutor(3) as executor:
for t in s:
executor.submit(test, t)