python如何在网络爬虫程序中使用多线程(threading.Thread)

已于 2023-01-05 15:18:22 修改
阅读量1.4w 收藏 14
点赞数 2
分类专栏： Python应用 爬虫基础 文章标签： python 爬虫 开发语言 网络爬虫 并发编程
于 2022-12-14 15:40:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hubing_hust/article/details/128317326
版权

python如何在网络爬虫程序中使用多线程

一、多线程的基础知识

关于多线程相关的基础知识，已经在另一篇文章中有过详细描述，此处不再赘述。有需要的可以参考：
Python并发编程之threading模块

要点主要是:

  • 使自己的类继承自threading.Thread
  • 在自己的类里重写run方法

二、在网络爬虫中使用多线程

2.1 从单线程版本入手

这里，我们仍然以下载单张图片的简单程序为例，首先，我们可以实现一个单线程版的图片下载器，代码范例可以从这篇文章中获取:
python使用requests库下载单张图片的简单示例

import requests
import random
import os

class PicDownloader():
    def __init__(self):
        self.count = 0
        self.file_name_prefix = 'img'
        self.working_dir = '.'
    
    def download_img(self, img_url, dir='.'):
        '''
        下载url指定的图片到本地dir目录
        '''
        self.count += 1
        file_name = self.file_name_prefix + '_' + str(self.count) + '.jpg'

        if os.path.isdir(dir):
            self.working_dir = dir
        else:
            try:
                os.makedirs(dir)
                self.working_dir = dir
            except OSError as e:
                print(f'create dir: {dir} failed')
        
        file_path = os.path.join(self.working_dir, file_name)
        print(f'开始下载文件：{file_path}')
        headers = self.get_headers()
        try:
            res = requests.get(url=img_url, headers=headers)
            if 200 == res.status_code:
                with open(file_path, 'wb') as file:
                    file.write(res.content)
        except Exception as e:
            print(f'下载文件失败: {file_path}')
            print(repr(e))
        print('文件下载成功')
        
    # 本例中实际不需要这么多
    def get_headers(self):
        user_agent_list = [
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
            "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"]

        userAgent = random.choice(user_agent_list)
        headers = {'User-Agent': userAgent}
        return headers


if __name__== '__main__':
    downloader = PicDownloader()
    downloader.download_img('https://images.weserv.nl/?url=https%3A%2F%2F23img.com%2Fi%2F2022%2F08%2F17%2Fqykvvx.jpg', 'd:/test')

2.2 将单线程版本改写为多线程版本

如何将其改造为多线程版本呢？

首先，导入threading模块，并使PicDownloader继承自threading.Thread, 构造函数中带入一些必要的参数，即可

class PicDownloader(threading.Thread):
    def __init__(self, name, img_url, file_name, dir='.'):
        threading.Thread.__init__(self)   # 注意，这一步是必须的，先对Thread进行相关初始化
        self.setName(name)                # 线程名是可选的，这里设置只是为了后面观察线程方便
        self.daemon = True                # 按需设置
        self.url = img_url
        self.file_name = file_name
        self.working_dir = dir

现在PicDownloader类就可以以线程的方式来运行了，我们还需要重写一下run()方法, 其实就是把原先的主要工作方法download_img()里面的内容挪到了run()方法内，你甚至可以理解为就是把download_img()重命名为run()方法。

def run(self):
    '''
    下载url指定的图片到本地dir目录
    '''
    if os.path.isdir(self.working_dir):
        pass
    else:
        try:
            os.makedirs(self.working_dir)
        except OSError as e:
            print(f'create dir: {dir} failed')
    
    if not self.file_name.endswith('.jpg'):
        self.file_name = self.file_name + '.jpg'
    
    file_path = os.path.join(self.working_dir, self.file_name)
    print(f'thread:{self.name} -> 开始下载文件：{file_path}')
    headers = self.get_headers()
    try:
        res = requests.get(url=self.url, headers=headers)
        if 200 == res.status_code:
            with open(file_path, 'wb') as file:
                file.write(res.content)
    except Exception as e:
        print(f'下载文件失败: {file_path}')
        print(repr(e))
    print(f'thread:{self.name} -> 文件下载成功：{file_path}')

至此，多线程的改造基本结束。

完整的代码:

# coding=utf-8

import requests
import threading
import random
import os

class PicDownloader(threading.Thread):
    def __init__(self, name, img_url, file_name, dir='.'):
        threading.Thread.__init__(self)
        self.setName(name)
        self.daemon = True
        self.url = img_url
        self.file_name = file_name
        self.working_dir = dir
    
    def run(self):
        '''
        下载url指定的图片到本地dir目录
        '''
        if os.path.isdir(self.working_dir):
            pass
        else:
            try:
                os.makedirs(self.working_dir)
            except OSError as e:
                print(f'create dir: {dir} failed')
        
        if not self.file_name.endswith('.jpg'):
            self.file_name = self.file_name + '.jpg'
        
        file_path = os.path.join(self.working_dir, self.file_name)
        print(f'thread:{self.name} -> 开始下载文件：{file_path}')
        headers = self.get_headers()
        try:
            res = requests.get(url=self.url, headers=headers)
            if 200 == res.status_code:
                with open(file_path, 'wb') as file:
                    file.write(res.content)
        except Exception as e:
            print(f'下载文件失败: {file_path}')
            print(repr(e))
        print(f'thread:{self.name} -> 文件下载成功：{file_path}')
        
    def get_headers(self):
        user_agent_list = [
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
            "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"]

        userAgent = random.choice(user_agent_list)
        headers = {'User-Agent': userAgent}
        return headers


if __name__== '__main__':
    downloader = PicDownloader(img_url='https://images.weserv.nl/?url=https%3A%2F%2F23img.com%2Fi%2F2022%2F08%2F17%2Fqykvvx.jpg', file_name='1', dir='d:/test')
    downloader.start()
    downloader.join()

2.3 运行多线程版本程序

多线程版本的类class PicDownloader(threading.Thread)改造完成后，我们只需要调用start()方法就可以启动线程。例如：

if __name__== '__main__':
    downloader = PicDownloader(img_url='https://images.weserv.nl/?url=https%3A%2F%2F23img.com%2Fi%2F2022%2F08%2F17%2Fqykvvx.jpg', file_name='1', dir='d:/test')
    downloader.start()
    downloader.join()

  • start()
    此方法会在一个单独的控制线程中调用run()方法，启动线程。此方法只能调用一次。

  • join([timeout])
    等待直到线程终止或者出现超时为止。timeout是一个浮点数，用于指定以秒为单位的超时时间。必须在start()方法之后调用，如果在线程启动之前就连接它将出现错误。

2.4 将多线程应用到爬虫程序中

以上程序单独执行，即下载单张图片，还不能体现多线程的优势。结合爬虫程序，我们看看如何运用多线程版本的图片下载器。

假设一个最简单的场景，就是我们想从一个页面上，爬取该页面上所有的图片。

当然了，这前期有一些工作要做，比如将所有的图片url都解析出来（本例中存到了列表img_url_list中），那么之后就可以发挥出多线程版本图片下载器的威力了。示例代码如下：

count = 0
path = 'd:/test'
pic_download_threads = []
for img_url in img_url_list:
    count += 1
    file_name = 'img_' + str(count)
    pic_download_threads.append(PicDownloader(str(count), img_url, file_name, path))

for working_thread in pic_download_threads:
    working_thread.start()

for working_thread in pic_download_threads:
    working_thread.join(5)

即使img_url_list里只有十几张图片的url，多线程版本也比单线程版本要快的多。如果图片url数目更多的话，速度优势就更明显了。

三、考虑使用线程池

上面是常规的多线程处理方式，如果img_url_list里只有十几张图片的url，多线程版本将比单线程版本要快的多。

但我们回过头来考虑以上程序，假如img_url_list里面的成员数非常多的话，比如该页面可能有数百张图片需要下载时，此时会发生什么？如果像上面这么做，我们将启动数百个工作线程！！！而系统启动一个新线程的成本是比较高的，因为它涉及与操作系统的交互。并且，当系统中包含有大量的并发线程时，会导致系统性能急剧下降，甚至导致 Python 解释器崩溃。

在这种情况下，使用线程池就可以很好地提升性能，尤其是当程序中需要创建大量生存期很短暂的线程时，更应该考虑使用线程池。

关于线程池的使用，请移步我的另一篇博文：《在Python网络爬虫程序中使用线程池》

smart_cat
关注
  • 2
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Python多线程爬虫简单示例
09-21
主要为大家详细介绍了Python多线程爬虫简单示例，感兴趣的小伙伴们可以参考一下
多线程爬虫
bangyinyou3056的博客
12-16 996
多线程爬虫 有些时候，比如下载图片，因为下载图片是一个耗时的操作。如果采用之前那种同步的方式下载。那效率肯会特别慢。这时候我们就可以考虑使用多线程的方式来下载图片。 多线程介绍： 多线程是为了同步完成多项任务，通过提高资源使用效率来提高系统的效率。线程是在同一时间需要完成多项任务的时候实现的。最简单的比喻多线程就像火车的每一节车厢，而进程则是火车。车厢离开火车是无法跑动的，同理火车...
【Python 爬虫】多线程爬取
热门推荐
懂得一千零一种,赋予你失败的方法！
03-20 2万+
文章目录前言一、多进程库（multiprocessing）二、多线程爬虫三、案例实操四、案例解析1、获取网页内容2、获取每一章链接3、获取每一章的正文并返回章节名和正文4、将每一章保存到本地5、多线程爬取文章 前言 简单的爬虫只有一个进程、一个线程，因此称为单线程爬虫。单线程爬虫每次只访问一个页面，不能充分利用计算机的网络带宽。一个页面最多也就几百KB，所以爬虫在爬取一个页面的时候，多出来的网速和从发起请求到得到源代码中间的时间都被浪费了。如果可以让爬虫同时访问10个页面，就相当于爬取速度提高了10倍..
Python程序设计：多线程爬虫.pptx
06-12
多线程爬虫有道翻译 知识点：多线程爬虫的编写 进程与线程概念 进程 操作系统像是一个奇怪的工厂，因为工人人数有限，每次只能支持一个车间开工。开工运转的车间就是进程，它是操作系统资源调度的单位。 进程与线程概念 线程 一个开工的车间里，可以有很多工人。他们协同完成一个任务。线程就好比车间里的工人，它是程序运行的最小单位，一个进程可以包括多个线程。 进程与线程概念 共享全局变量和锁 车间的空间是工人们共享的，许多房间是每个工人都可以进出的。进程中的内存空间也是共享的，每个线程都可以使用这些共享内存。可是，有些房间最多只能容纳一个人，里面有人的时候，其他人就不能进去了。一个防止他人进入的简单方法，就是门口加一把锁。 Python多线程爬虫 Python多线程模块 在Python中可使用的多线程模块主要有两个，thread和threading模块。 threading模块允许创建和管理线程，提供了更多的同步原语。threading模块中最常用的类是Thread。 Python多线程爬虫 多线程爬虫代码 multithreading_spider.py 爬虫技术基础 进程与线程 编写多线程爬虫
python多线程爬虫
12-22
#多线程爬虫一般思维就是，开启两个线程，一个爬，一个取。 #实现步骤 #1，把自己思路的裤架给配置出来，两个线类，一个主方法。 #思考，改把数据存到什么结构里。。。。。队列。 import re import threading import queue from urllib import request import time #爬取线程 class Thread1(threading.Thread): def init(self,threadName,pagequen,dataquen): threading.Thread.init(self) self.threadName=thr
Python的多线程爬虫详解
Python966的博客
01-29 3321
Python 提供了两个支持多线程的模块，分别是 _thread 和 threading。其中 _thread 模块偏底层，它相比于 threading 模块功能有限，因此推荐大家使用 threading 模块。
python中的线程threading.Thread()使用
菜鸡小白的成长记录
12-15 5805
1. 线程的概念： 线程，有时被称为轻量级进程(Lightweight Process，LWP），是程序执行流的最小单元。一个标准的线程由线程ID，当前指令指针(PC），寄存器集合和堆栈组成。另外，线程是进程中的一个实体，是被系统独立调度和分派的基本单位，线程自己不拥有系统资源，只拥有一点儿在运行中必不可少的资源，但它可与同属一个进程的其它线程共享进程所拥有的全部资源。 2. threading....
Python多线程爬虫入门到精通教程
2301_79108888的博客
08-29 517
本教程介绍了Python多线程爬虫的基本概念、实现步骤和注意事项，并提供了一个简单的示例代码。希望通过本教程，你能够了解多线程爬虫的基本原理和使用方法，并能够根据实际需求进行相应的扩展和优化。多线程爬虫是爬虫技术中的重要内容，掌握多线程爬虫技术对于提高爬取效率和性能非常有帮助。如果你对多线程爬虫还有其他问题，可以随时提问。祝你在爬虫之路上取得成功！创建线程类：继承自类，并重写run方法，在run方法中实现具体的爬取逻辑。创建线程对象：根据需要爬取的任务数量，创建相应数量的线程对象。
Python中的线程threading.Thread()使用详解
Jq的博客
12-09 5057
进行程序开发的时候，肯定避免不了要处理并发的情况，一般使用多线程实现并发。 python实现多线程编程需要借助于threading模块。 Thread threading 模块中最核心的内容是 Thread 这个类。 程序运行时默认就是在主线程上，创建 Thread 对象,然后让它们运行，每个 Thread 对象代表一个线程，在每个线程中我们可以让程序处理不同的任务，这就是多线程编程。 创建Thread对象 class threading.Thread(group=None, target=None, na
Python实战：用多线程和多进程打造高效爬虫
最新发布
null18的博客
09-21 3508
通过使用多线程和多进程，我们可以显著提高网络爬虫的效率，更快地获取大量数据。然而，要小心线程安全问题和进程管理的开销。挑战与创造都是很痛苦的，但是很充实。
python支持多线程的爬虫实例
12-23
python是支持多线程的, 主要是通过thread和threading这两个模块来实现的，本文主要给大家分享python实现多线程网页爬虫 一般来说，使用线程有两种模式, 一种是创建线程要执行的函数, 把这个函数传递进Thread对象里，让它来执行. 另一种是直接从Thread继承，创建一个新的class，把线程执行的代码放到这个新的class里。 实现多线程网页爬虫，采用了多线程和锁机制，实现了广度优先算法的网页爬虫。 先给大家简单介绍下我的实现思路： 对于一个网络爬虫，如果要按广度遍历的方式下载，它是这样的： 1.从给定的入口网址把第一个网页下载下来 2.从第一个网页中提取出所有新的网页
爬虫入门实践之多线程爬虫
carson0408的博客
05-07 2204
有的爬重只需要单线程就可以完成，而有的爬虫可以拆分成多线程实现，能够提高爬虫效率。比如爬虫入门实践之爬取虎扑论坛帖子一文中，介绍使用的是用单线程实现的，首先在首页找出所有的url，然后遍历url，找出相关信息。其实，仔细分析，可以发现，该例子可以使用多线程来实现，比如一个线程用于获取url，一个线程根据已有的url来爬取相关信息，这样一来，总的等待时间更短了。因此，本文针对改写该例...
python并发爬虫——多线程、线程池实现
sixteen_16的博客
04-27 5533
python并发爬虫——多线程、线程池实现 一个网络爬虫通常由发送请求、获取响应、解析页面、本地保存等这几部分组成。其中最难，细节最多的当然是页面解析环节，对于不同的页面，其解析难度必然又所差异，甚至有些安全性较高的网站还设有各种反扒机制，想要获取需要的信息需要视具体情况而言。当然这些内容不在本篇的介绍范围内。本文主要内容是针对如何使用多线程、线程池进行并发操作，提高爬虫的爬取效率。 一、常规网络爬虫 1. 执行顺序 通常，我们在使用爬虫对网页进行爬取的时候，往往采用requests库发送get请求，获取响
Python爬虫深造篇(一)——多线程网页爬取
Huisoul的博客
10-17 5105
一、前情提要 相信来看这篇深造爬虫文章的同学，大部分已经对爬虫有不错的了解了，也在之前已经写过不少爬虫了，但我猜爬取的数据量都较小，因此没有过多的关注爬虫的爬取效率。这里我想问问当我们要爬取的数据量为几十万甚至上百万时，我们会不会需要要等几天才能将数据全都爬取完毕呢？ 唯一的办法就是让爬虫可以 7×24 小时不间断工作。因此我们能做的就是多叫几个爬虫一起来爬数据，这样便可大大提升爬虫的效率。 但在介绍Python 如何让多个爬虫一起爬取数据之前，我想先为大家介绍一个概念——并发。 文章目录一、前
Python爬虫——多线程爬虫如何实现？
qq_46147573的博客
07-09 1937
Python爬虫——多任务线程1.多任务2.主线程与子线程3.查看线程数量 1.多任务 多任务指的是在同一时间不同任务需要同时进行的场景，比如边听歌边刷题，边看电视边吃饭… 要实现多任务的进行，我们首先会想到的方式如下： import time # 吃饭 def Eat(): for i in range(4): print('eating...') time.sleep(1) # 看电视 def Watch(): for i in range(4):
python爬虫基础--多线程--多进程--协程
m0_67093160的博客
03-02 807
python爬虫多线程、多进程以及协程
Python爬虫——Python多线程爬虫详解
Itmastergo的博客
03-21 1461
网络爬虫程序是一种 IO 密集型程序，程序中涉及了很多网络 IO 以及本地磁盘 IO 操作，这些都会消耗大量的时间，从而降低程序的执行效率，而 Python 提供的多线程能够在一定程度上提升 IO 密集型程序的执行效率。
python 多线程
lishuaigell的博客
06-22 1645
多线程的出现是为了能够帮助我们解决资源被霸占的问题，下面看看它的基本使用。 pycharm下的运行结果 可以看到，一个2秒一个3秒的任务只需3秒就完成了，说明这两个任务确实是同时进行的。命名 每个线程名默认是以 thread-xx 命名的，如果想自己定义的话，可以在创建实例对象时用name进行指明。 传递参数 当我们调用函数需要传递参数时，在创建实例对象时用 args 或 kwargs 指明。 亦可写成 threading的进一步使用 Daemon线程......
python多线程和队列在爬虫中的应用
07-28
在爬虫中，多线程和队列是非常常见的技术应用。下面是它们在爬虫中的应用示例： 1. 多线程：使用多线可以提高爬取数据的效率，同时可以并发处理多个请求。例如，可以将爬虫程序分为多个线程，每个线程负责处理一个请求，这样可以同时发送多个请求并同时处理响应。 2. 队列：使用队列可以实现任务的调度和管理。例如，可以将待爬取的URL放入队列中，然后创建多个爬虫线程从队列中获取URL，并进行相应的爬取操作。这样可以有效地控制任务的执行顺序，避免资源竞争和重复爬取。 综合应用示例： ```python import threading import queue import requests # 创建队列 url_queue = queue.Queue() # 定义爬虫函数 def crawler(): while not url_queue.empty(): url = url_queue.get() # 发送请求并处理响应 response = requests.get(url) # 其他处理操作... # 添加待爬取的URL到队列 url_queue.put('http://example.com/page1') url_queue.put('http://example.com/page2') url_queue.put('http://example.com/page3') # 创建多个爬虫线程 num_threads = 3 threads = [] for _ in range(num_threads): t = threading.Thread(target=crawler) threads.append(t) # 启动线程 for t in threads: t.start() # 等待所有线程执行完毕 for t in threads: t.join() # 所有任务完成 print("All tasks finished.") ``` 这个示例展示了如何使用多线程和队列来进行爬虫任务的并发处理和调度。通过将待爬取的URL放入队列中，然后创建多个爬虫线程从队列中获取URL并进行相应的爬取操作，可以实现高效的爬取任务处理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

smart_cat

你的鼓励将是我写作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值