Python多线程爬虫入门级案例，采集整站图片素材！_数据采集多线程爬虫基本示例-CSDN博客

本文链接：https://blog.csdn.net/Python_sn/article/details/109162649

本文介绍了Python多线程的基本概念，并通过一个跑步测试的例子演示了如何创建和管理线程。接着，文章展示了如何在爬虫中应用多线程，解释了线程同步的重要性，并提供了一个简单的多线程爬虫代码示例，强调了正确使用join()方法以避免线程问题。

摘要由CSDN通过智能技术生成

什么是多线程

这里就不说什么高深莫测的专业术语了，一句话，在泡澡的同时喝咖啡。也就是说在代码中同时让多个区域的代码或者说函数同时运行以此达到提高效率的目的。

很多人学习python，不知道从何学起。
很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。
很多已经做案例的人，却不知道如何去学习更加高深的知识。
那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！??¤
QQ群：623406465

举个例子

比如我们有这样一场比赛，小明和小红在做跑步测试，现在他们身上都要一个计时器用于计时。这是他们一个一个测试。就像下面的代码一样。

import threading
import time
time0=time.time()
def print_ming():
    time.sleep(5)
    print('我是小明我跑完了')

def print_hong():
    time.sleep(3)
    print('我是小红我跑完了')


print_ming()
print_hong()

time1=time.time()
print(time1-time0)

我们可以看到运行结果
在这里插入图片描述

显然我们花了8秒左右的时间做完了测试。然而他们都有一个计时器既然如此把他们同时放在一起测试不就可以大大提高效率吗。

同时测试

我们打代码做如下更改
导入threading
1创建线程ming=threading.Thread(target=print_ming)
2生明线程ming.setDaemon(True)
3运行线程ming.star()
更改后的代码如下：



import threading
import time
time0=time.time()
def print_ming():
    time.sleep(5)
    print('我是小明')

def print_hong():
    time.sleep(3)
    print('我是小红')

ming=threading.Thread(target=print_ming)

hong=threading.Thread(targe