python爬虫——增量式爬虫——queue

最新推荐文章于 2024-04-09 17:47:36 发布

SixGod6860

最新推荐文章于 2024-04-09 17:47:36 发布

阅读量615

点赞数 1

分类专栏： python 爬虫

本文链接：https://blog.csdn.net/qq_42936274/article/details/88066944

版权

本文介绍了Python标准库中的线程安全队列Queue，特别强调了其在多线程环境中的FIFO（先进先出）特性，以及如何应用于增量式爬虫。通过设置maxsize控制队列大小，当达到上限时，插入操作会被阻塞。在增量爬虫场景中，FIFO队列可以帮助我们避免重复爬取已经抓取过的URL。

摘要由CSDN通过智能技术生成

python队列Queue

Queue是python标准库中的线程安全的队列（FIFO）实现，提供了一个使用于多线程编程的先进先出的数据结构，即队列，用来在生产者和消费者线程之间的信息传递。

基本FIFO队列

class Queue.Queue(maxsize=0)。FIFO即first in first out，先进先出。queue提供了一个基本的FIFO容器，使用方法很简单，maxsize是个整数，指明了队列中能存放的数据个数的上限。一旦达到上限，插入会导致阻塞，直到队列中的数据被消费掉。如果maxsize小于或者等于0，队列大小没有限制。它是进行广度遍历。

import queue
test = queue.Queue()
test.put("123")
print(test.get())
test.get()

然后python会一直运行。

LIFO队列

LIFO即Last in First Out，后进先出。与栈的类似，使用同FIFO用法类似。

如果要实现增量式爬虫，要使用FIFO队列

以爬百度贴吧为例：

import requests
import lxml.html
from queue import Queue


class TiebaSpider(object):
    """
    实现下载某个贴吧指定页码前的内容，存储下载内容
    """

    def __init__(self, name, pages):
        """