现在我们有下述三种情况:
1、主线程死循环
while True:
pass
while True:
pass
创建两个死循环的主线程
2、2个线程死循环
import threading
# 子线程死循环
def test():
while True:
pass
t1 = threading.Thread(target=test)
t1.start()
# 主线程死循环
while True:
pass
3、2个进程死循环
import multiprocessing
def deapLoop():
while True:
pass
# 子进程死循环
p1 = multiprocessing.Process(target=deapLoop)
p1.start()
# 主进程死循环
while True:
pass
在一个双核的操作系统中运行上述三种情况。
第一种情况中两个CPU的占用率都会是100%
第二种情况中两个CPU的占用率都会是50%
第三种情况中两个CPU的占用率都会是100%
因为线程的运行并不能真正的使用双核,但是进程是可以的,因为有GIL:全局解释器锁。每个线程在执行的过程都需要先获取GIL,保证同一时刻只有一个线程可以执行代码
一个系统的cpu是通过python的解释器来理解python语言的。python的解释器有cpython(C语言编写)、jpython(Java语言编写)等
python的GIL全局解释锁只出现cpython解释器中,如果使用jpython或其他解释器则不会有此类问题。
Python-GIL
描述Python GIL的概念,以及它对Python多线程的影响:
python语言和GIL没有关系,仅仅是由于历史原因在Cpython虚拟机,难以移除GIL
GIL:全局解释器锁。每个线程在执行的过程都需要先获取GIL,保证同一时刻只有一个线程可以执行代码
线程释放GIL锁的情况:在IO操作等可能会引起阻塞的system call之前,可以暂时释放GIL,但在执行完毕后,必须重新获取GIL,Python3使用计时器
Python使用多进程是可以利用多核的CPU资源的
多线程爬取比单线程性能有提升,因为遇到IO阻塞会自动释放GIL锁