多线程网络爬虫

最新推荐文章于 2024-07-14 19:57:32 发布

qq_39239110

最新推荐文章于 2024-07-14 19:57:32 发布

阅读量332

点赞数

分类专栏：网路爬虫 python学习

本文链接：https://blog.csdn.net/qq_39239110/article/details/102975965

版权

本文介绍了Python多线程的概念，强调了threading模块在创建线程中的作用，讲解了如何通过类的方式创建线程，以及如何解决全局变量共享问题。同时，探讨了生产者和消费者模式，对比了Lock和Condition的使用，并引入了Queue线程安全队列。最后，文章提到了Python的GIL锁对多线程的影响和在不同解释器中的表现。

摘要由CSDN通过智能技术生成

多线程网络爬虫：
什么是多线程：
默认情况下，一个程序只有一个线程，代码依次线性执行的，而多线性则可以并发执行，一次性多个人做多件事。自然比单线程更快
在这里插入图片描述
threading模块是python中专门用来做多线程编程的模块，threading模块中最常见的类是Thread，使用threading模块下的Thread就可以创建一个多线程,这个类有一个‘target’参数，需要指定一个函数，那么以后这个线程执行的时候，就会执行这个函数的代码，下面是创建一个简单多线程的一个示例：

import threading
import time
def coding():
    for x in range(3):
        print('%d正在coding....'%x)
        time.sleep(1)
def drawing():
    for x in range(3):
        print('%d正在drawing...'%x)
        time.sleep(1)
def singThread():
    coding()
    drawing()
def multiThread(</