Scrapy-Redis创建分布式爬虫

最新推荐文章于 2024-08-12 16:22:34 发布

Mr丶D

最新推荐文章于 2024-08-12 16:22:34 发布

阅读量1.6k

点赞数

分类专栏： Python redis 爬虫文章标签：分布式爬虫 Scrapy-Redis

本文链接：https://blog.csdn.net/cn_1937/article/details/90054017

版权

Python 同时被 3 个专栏收录

31 篇文章 3 订阅

订阅专栏

redis

6 篇文章 0 订阅

订阅专栏

爬虫

5 篇文章 0 订阅

订阅专栏

Scrapy-Redis分布式爬虫组件

Scrapy是一个框架，他本身是不支持分布式的。如果我们想要做分布式的爬虫，就需要借助一个组件叫做Scrapy-Redis，这个组件正是利用了Redis可以分布式的功能，集成到Scrapy框架中，使得爬虫可以进行分布式。可以充分的利用资源（多个ip、更多带宽、同步爬取）来提高爬虫的爬行效率。

分布式爬虫的优点

可以充分利用多台机器的带宽。
可以充分利用多台机器的ip地址。
多台机器做，爬取效率更高。

分布式爬虫必须要解决的问题

分布式爬虫是好几台机器在同时运行，如何保证不同的机器爬取页面的时候不会出现重复爬取的问题。
同样，分布式爬虫在不同的机器上运行，在把数据爬完后如何保证保存在同一个地方。

安装：

通过pip install scrapy-redis即可安装。

Scrapy-Redis架构

Scrapy架构图：

在这里插入图片描述

Scrapy-Redis架构图

在这里插入图片描述

Scrapy-Redis流程简介：

首先Slaver端从Master端拿任务（Request、url）进行数据抓取，Slaver抓取数据的同时，产生新任务的Request便提交给 Master 处理；
Master端只有一个Redis数据库，负责将未处理的Request去重和任务分配，将处理后的Request加入待爬队列，并且存储爬取的数据。

Scrapy-Redis默认使用的就是这种策略，我们实现起来很简单，因为任务调度等工作Scrapy-Redis都已经帮我们做好了，我们只需要继承RedisSpider、指定redis_key就行了。

缺点是，Scrapy-Redis调度的任务是Request对象，里面信息量比较大（不仅包含url，还有callback函数、headers等信息），

可能导致的结果就是会降低爬虫速度、而且会占用Redis大量的存储空间，所以如果要保证效率，那么就需要一定硬件水平。

分布式爬虫架构图：

在这里插入图片描述
以上两个图片对比我们可以发现。Item Pipeline在接收到数据后发送给了Redis、Scheduler调度器调度数据也是从Redis中来的、并且其实数据去重也是在Redis中做的。

scrapy-redis键名介绍

scrapy-redis中都是用key-value形式存储数据，其中有几个常见的key-value形式：

“项目名:items” -->list 类型，保存爬虫获取到的数据item 内容是 json 字符串
“项目名:dupefilter” -->set类型，用于爬虫访问的URL去重内容是 40个字符的 url 的hash字符串
“项目名: start_urls” -->List 类型，用于获取spider启动时爬取的第一个url
“项目名:requests” -->zset类型，用于scheduler调度处理 requests 内容是 request 对象的序列化字符串

编写Scrapy-Redis分布式爬虫

要将一个Scrapy项目变成一个Scrapy-redis项目只需修改以下三点就可以了：

将爬虫的类从scrapy.Spider变成scrapy_redis.spiders.RedisSpider；
或者是从scrapy.CrawlSpider变成scrapy_redis.spiders.RedisCrawlSpider。

代码：
```
from scrapy_redis.spiders import RedisSpider

# class RedisDemoSpider(scrapy.Spider):
class RedisDemoSpider(RedisSpider):
	pass
```

将爬虫中的start_urls删掉。增加一个redis_key=“xxx”。这个redis_key是为了以后在redis中控制爬虫启动的。爬虫的第一个url，就是在redis中通过这个发送出去的。
代码：

# class RedisDemoSpider(scrapy.Spider):
class RedisDemoSpider(RedisSpider):
    ...
    # start_urls = ['https://www.fang.com/SoufunFamily.htm']
    redis_key="redis_demo:start_urls"
    ...

在配置文件中setting.py增加如下配置：
Scrapy-Redis相关配置

使用了scrapy_redis的调度器，在redis里分配请求，确保request存储到redis中,
```
    SCHEDULER = "scrapy_redis.scheduler.Scheduler"
```
必须). 使用了scrapy_redis的去重组件，在redis数据库里做去重，确保所有爬虫共享相同的去重指纹
```
    DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
```
(必须). 通过配置RedisPipeline将item写入key为 spider.name : items 的redis的list中，供后面的分布式处理item 这个已经由 scrapy-redis 实现，不需要我们写代码，直接使用即可
```
  ITEM_PIPELINES = {
	  'scrapy_redis.pipelines.RedisPipeline': 300
  }
```
(可选) 在redis中保持scrapy-redis用到的队列，不会清理redis中的队列，从而可以实现暂停和恢复的功能。
```
    SCHEDULER_PERSIST = True
```

(必须). 指定redis数据库的连接参数

    REDIS_HOST = '127.0.0.1'
    REDIS_PORT = 6379

代码

# (必须). 使用了scrapy_redis的调度器，在redis里分配请求
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# (必须). 使用了scrapy_redis的去重组件，在redis数据库里做去重
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# (必须). 通过配置RedisPipeline将item写入key为 spider.name : items 的redis的list中，供后面的分布式处理item 这个已经由 scrapy-redis 实现，不需要我们写代码，直接使用即可
ITEM_PIPELINES = {
    'scrapy_redis.pipelines.RedisPipeline': 300
}
# (可选). 在redis中保持scrapy-redis用到的各个队列，从而允许暂停和暂停后恢复，也就是不清理redis queues
SCHEDULER_PERSIST = True
# (必须). 指定redis数据库的连接参数
REDIS_HOST = '127.0.0.1'
REDIS_PORT = 6379

运行爬虫：

在爬虫服务器上。进入爬虫文件所在的路径，然后输入命令：
```
    scrapy runspider [爬虫名字]。
```
在Redis服务器上，推入一个开始的url链接：
```
redis-cli> lpush [redis_key] start_url
```
例如：start_url 为 https://www.jianshu.com/
咋在Redis服务器上输入：
```
redis-cli> lpush redis_demo:start_urls https://www.jianshu.com/
```