面试官一般这样问,GIL的概念和对python多线程的影响
- 主线程死循环
cpu会占满
while True:
print(1)
- 两个线程死循环
双核CPU会各占一半
import threading
def demo():
while True:
pass
def main():
t1 = threading.Thread(target=demo)
t1.start()
while True:
pass
if __name__ == '__main__':
main()
- 两个进程死循环
两个CPU都会占满
import multiprocessing
def demo():
while True:
pass
def main():
p1 = multiprocessing.Process(target=demo)
p1.start()
while True:
pass
if __name__ == '__main__':
main()
总结:
- python语言和GIL没有关系,仅是因为历史原因在CPython虚拟机难以移除GIL
- GIL:全局解释器锁,每个线程在执行之前都需要先获取GIL, 保证在同一个时刻只有一个线程在执行代码
- 线程释放GIL锁的情况:在IO操作等可能会引起阻塞的system call之前,可以暂时释放GIL,但在执行完毕后,必须重新获取GIL,Python3使用计时器
- python多进程是可以利用多核CPU资源
- 多线程爬取比单线程性能高,因为遇到IO阻塞自动释放GIL锁