三种分布式爬虫系统的架构方式

最新推荐文章于 2024-08-07 20:45:24 发布

Python之战

最新推荐文章于 2024-08-07 20:45:24 发布

阅读量4.5k

点赞数

文章标签： python 架构爬虫

本文链接：https://blog.csdn.net/weixin_41624982/article/details/86726840

版权

本文介绍了三种分布式爬虫系统的架构方式，包括利用Redis的队列和订阅发布功能，RabbitMQ的高可靠性消息中间件，以及Celery的分布式任务队列。每种架构都考虑了通信、任务调度和数据完整性，适合不同的爬虫项目需求。

摘要由CSDN通过智能技术生成

分布式爬虫系统广泛应用于大型爬虫项目中，力求以最高的效率完成任务，这也是分布式爬虫系统的意义所在。

分布式系统的核心在于通信，介绍三种分布式爬虫系统的架构思路，都是围绕通信开始，也就是说有多少分布式系统的通信方式就有多少分布式爬虫系统的架构思路。

Redis
利用redis做分布式系统，最经典的就是scrapy-Redis，这是比较成熟的框架。同时我们也可以利用Redis的队列功能或者订阅发布功能来打造自己的分布式系统。

Redis作为通信载体的优点是读写迅速，对爬虫的速度影响可忽略不计，使用比较普遍。

主程序示例：

import scrapy
from scrapy.http import Request
from scrapy.selector import HtmlXPathSelector
from scrapy.dupefilter import RFPDupeFilter
from scrapy.core.scheduler import Scheduler
import redis
from ..items import XiaobaiItem

from scrapy_redis.spiders import RedisSpider
class RenjianSpider(RedisSpider):
    name = 'baidu'
    allowed_domains = ['baidu.com']

    def parse(s