python3线程gil_在python3爬虫中使用GIL如何修改多线程

在python3爬虫中使用GIL如何修改多线程

发布时间：2020-11-25 15:01:34

来源：亿速云

阅读：68

作者：Leah

本篇文章为大家展示了在python3爬虫中使用GIL如何修改多线程，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。

多线程在Python中只能交替执行，即使100个线程跑在100核CPU上，也只能用到1个核。通常我们用的解释器是官方实现的CPython，要真正利用多核，除非重写一个不带GIL的解释器。

#coding=utf-8

from multiprocessing import Pool

from threading import Thread

from multiprocessing import Process

def loop():

while True:

pass

if __name__ == '__main__':

for i in range(3):

t = Thread(target=loop)

t.start()

while True:

pass

我的电脑是4核，所以我开了4个线程，看一下CPU资源占有率：

我们发现CPU利用率并没有占满，大致相当于单核水平。

而如果我们变成进程呢？

我们改一下代码：

#coding=utf-8

from multiprocessing import Pool

from threading import Thread

from multiprocessing import Process

def loop():

while True:

pass

if __name__ == '__main__':

for i in range(3):

t = Process(target=loop)

t.start()

Pass

结果直接飙到了100%，说明进程是可以利用多核的！

上述内容就是在python3爬虫中使用GIL如何修改多线程，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注亿速云行业资讯频道。