scrapy-redis 分布式爬虫原理 及 与scrapy不同

最新推荐文章于 2023-04-27 22:47:54 发布
VIP文章 最新推荐文章于 2023-04-27 22:47:54 发布
阅读量385 收藏
点赞数 1
分类专栏： 工作 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42540340/article/details/105099541
版权

Scrapy 是一个通用的爬虫框架，但是不支持分布式
Scrapy-redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件(仅有组件)

scrapy任务调度是基于文件系统，这样只能在单机执行crawl。

scrapy-redis将待抓取request请求信息和数据items信息的存取放到redis queue里，使多台服务器可以**同时执行crawl和items process**，大大提升了数据爬取和处理的效率。

分布式采用主从结构设置一个Master服务器和多个Slave服务器，Master端管理Redis数据库和分发式下载任务，Slave部署Scrapy爬虫提取网页和解析提取数据，最后解析的数据存储在同一个MongoDb数据库中。

实现原理
通过scrapy写了一个工程之后，是不能同时让两个电脑共同爬取
为什么不能呢？
因为你的scrapy运行在你的电脑的内存中，你的调度器运行在你的内存中。我的调度器运行在我的内存中
将**调度器**放到公共的地方，redis中，都放到我的redis中

实现结果：
我的windows：是服务端（redis放的地方，调度器）
最低0.47元/天 解锁文章
郭立影
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用scrapy-redis搭建分布式爬虫环境
weixin_30307921的博客
06-07 818
scrapy-redis简介 scrapy-redis是scrapy框架基于redis数据库的组件，用于scrapy项目的分布式开发和部署。 有如下特征：  分布式爬取 　　您可以启动多个spider工程，相互之间共享单个redis的requests队列。最适合广泛的多个域名网站的内容爬取。  分布式数据处理 　　爬取到的scrapy的item数据可以推入到redis队列...
scrapy和scrapy-redis有什么区别？为什么选择redis数据库？
qq_42350970的博客
12-09 1282
1) scrapy是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。而scrapy-redis一套基于redis数据库、运行在scrapy框架之上的组件，可以让scrapy支持分布式策略，Slaver端共享Master端redis数据库里的item队列、请求队列和请求指纹集合。 2) 为什么选择redis数据库，因为redis支持主从同步，而且数据都是缓存在内存中的，所...
Scrapy-Redis使用教程&&将现有爬虫修改为分布式爬虫
mkdir700的博客
01-16 1538
前言 scrapy爬虫框架非常好用，如果再配合scrapy-redis进行分布式爬取，爬取速度将进一步提升！ 本文小结了scrapy-redis的使用方法以及如何将现有爬虫通过scrapy-redis更改为分布式爬虫。 使用scrapy-redis 改造前： import scrapy class ExampleSpider(scrapy.Spider): name = 'example' allowed_domains = ['example.com'] start_urls
19.爬虫:scrapy-redis分布式爬虫
agdzxzfdyw的博客
10-24 1318
一.概述:分布式爬虫 分布式爬虫:多台电脑一起爬取数据 单机爬虫:一台电脑自己爬取数据 分布式爬虫的优点:1.充分利用多台机器的带宽加速爬取;2.充分利用多台机子的IP来爬取,总而言之,十个人干活肯定比一个人干活来的快和好 那么,当同一个爬虫程序在多台电脑上同步爬取数据,如何保证A电脑爬取的数据,在B电脑上不会重复爬取. 这就需要统一的状态的管理器(redis)来统一管理,主要承担request的队列的调度与去重等功能 二.概述:redis redis的本质是内存数据库,key-value存储系统 它支持的
scrapy-redis(分布式爬虫)
lemonguess的博客
08-02 945
一、概念 概念：多台机器对一个项目进行分部联合爬取。 作用：增加工作单位，提升爬取效率。 前提：每一台工作机器都需要scrapy的运行环境。
Python基于Scrapy-Redis分布式爬虫设计
11-04
程序采用 python 开发的 Scrapy 框架来开发，使用 Xpath 技术对下载的网页进行提取解析，运用 Redis 数据库做分布式， 设计并实现了针对当当图书网的分布式爬虫程序，scrapy-redis是一个基于redis的scrapy组件，...
Python实现基于Scrapy-Redis的分布式爬虫实现框架源码.zip
最新发布
05-08
Python实现基于Scrapy-Redis的分布式爬虫实现框架源码.zip本资源中的源码都是经过本地编译过可运行的，评审分达到95分以上。资源项目的难度比较适中，内容都是经过助教老师审定过的能够满足学习、使用需求，如果有...
毕业设计 - 基于Scrapy-Redis分布式爬虫设计（python）
04-04
程序采用 python 开发的 Scrapy 框架来开发，使用 Xpath 技术对下载的网页进行提取解析，运用 Redis 数据库做分布式， 设计并实现了针对当当图书网的分布式爬虫程序，scrapy-redis是一个基于redis的scrapy组件，通过...
scrapy-redis分布式爬虫实现案例
05-31
只需将该项目放到不同的机器，简单配置一下redis /mysql 就可以运行，实现分布式抓取数据，需配置相同的环境scrapy/scrapy-redis/itemadapter/redis/mysql
scrapy-redis 原理
hsjlxx的博客
07-21 1119
分布式原理： scrapy-redis实现分布式，其实从原理上来说很简单，这里为描述方便，我们把自己的核心服务器称为master，而把用于跑爬虫程序的机器称为slave。 我们知 道，采用scrapy框架抓取网页，我们需要首先给定它一些start_urls，爬虫首先访问start_urls里面的url，再根据我们的具体逻辑，对里面的元素、或者是其他的二级、三级页面进行抓取。而要实现分布式，我们...
Scrapy-redis分布式爬虫详解
wwxxee
12-30 429
1. 分布式爬虫原理 Scrapy单机爬虫有一个本地爬取队列Queue，如果新的Request生成就会放到队列里面，随后Request被Scheduler调度，之后Request交给Downloader执行。分布式爬虫有多个Scheduler和多个Downloader，而爬取队列始终为一个，也就是共享爬取队列，这样才能保证Scheduler从队列里调度某个Request之后，其他的Schedule...
20.网络爬虫—Scrapy-Redis分布式爬虫
weixin_50804299的博客
04-27 6537
下载地址：🧾 🧾Redis 支持 32 位和 64 位。这个需要根据你系统平台的实际情况选择，这里我们下载 Redis-x64-xxx.zip压缩包到 D 盘，解压后，将文件夹重新命名为 redis。 打开一个 cmd 窗口 使用 cd 命令切换目录到 C:\redis 运行：🧾 🧾如果想方便的话，可以把 redis 的路径加到系统的环境变量里，这样就省得再输路径了，后面的那个 redis.windows.conf 可以省略，如果省略，会启用默认的。输入之后，会显示如下界面： 分布式：一个业务
scrapy去重原理,scrapy_redis去重原理和布隆过滤器的使用
菜鸡小白的成长记录
10-17 4513
1.去重的应用场景： 如果你只是做一些简单的爬虫，可能不会遇到这种问题，可是如果你正在做一个大型的全站爬虫，或是一个持久化的爬虫，那你一定会遇到这样的问题：刚开始爬虫速度还可以，随着待爬取的队列达到数亿级甚至更多的时候，爬虫会变得非常慢，为什么会出现这样的问题呢？ 我们以scrapy为例来说明并解决这个问题。 2.scrapy去重原理 Scrapy 有自动去重功能，它的去重使用了 Python 中的集合。这个集合记录了 Scrapy 中每个 Request 的指纹，这个指纹实际上就是 Request 的散列
第48讲：分布式利器 Scrapy-Redis 原理
菜鸡小白的成长记录
01-13 759
在上节课我们提到过，Scrapy-Redis 库已经为我们提供了 Scrapy 分布式的队列、调度器、去重等功能，其 GitHub 地址为： https://github.com/rmax/scrapy-redis。 本节课我们深入掌握利用 Redis 实现 Scrapy 分布式的方法，并深入了解 Scrapy-Redis 的原理。 获取源码 可以把源码克隆下来，执行如下命令： git clone https://github.com/rmax/scrapy-redis.git 核心源码在 scrapy-r
scrapy-redis 框架
何必说
08-14 1212
scrapy-redis简介：Scrapy-redis 是为了更方便地实现 Scrapy 分布式爬取，而提供了一些以 redis 为基础的 组件(仅有组件)。主体还是是 redis 和 scrapy 两个库，Scrapy-redis 像胶水一样，把这两个插件粘结了起来。 scrapy-redis特点：1能实现分布式爬取 2可实现去重 3持续性爬取，可实现增量式爬虫 4遵守 Rule 规则，可以实...
爬虫学习笔记（十二）—— scrapy-redis（一）：基本使用、介绍
别呀的博客
07-18 7594
一、分布式概念和作用 分布式：一个业务分拆多个子业务，部署在不同的服务器上;是一种将任务分布在不同地方的工作方式。 作用：提高安全性和效率 分布式爬虫： 默认情况下，我们使用scrapy框架进行爬虫时使用的是单机爬虫，就是说它只能在一台电脑上运行，因为爬虫调度器当中的队列queue去重和set集合都只能在本机上创建的，其他电脑无法访问另外一台电脑上的内存和内容。 分布式爬虫实现了多台电脑使用一个共同的爬虫程序，它可以同时将爬虫任务部署到多台电脑上运行，这样可以提高爬虫速度，实现分布式爬虫。 二、Scr
Python爬虫-Scrapy-Redis分布式
shifengboy的博客
10-09 1203
Scrapy-Redis 分布式 1 分布式概述 1.0 scrapy-redis是什么 之前我们已经学习了Scrapy，它是一个通用的爬虫框架，能够耗费很少的时间就能够写出爬虫代码 Scrapy-redis是scrapy的一个组件，它使用了Redis数据库做为基础，目的为了更方便地让Scrapy实现分布式爬取 Scrapy能做的事情很多，但是要做到大规模的分布式应用则捉襟见肘。有能人改变了Sc...
Scrapy-Redis分布式爬虫
weixin_30505485的博客
07-17 100
Scrapy-Redis分布式爬虫组件 Scrapy是一个框架，他本身是不支持分布式的。如果我们想要做分布式的爬虫，就需要借助一个组件叫做Scrapy-Redis，这个组件正是利用了Redis可以分布式的功能，集成到Scrapy框架中，使得爬虫可以进行分布式。可以充分的利用资源（多个ip、更多带宽、同步爬取）来提高爬虫的爬行效率。 分布式爬虫的优点 可以充分利用多台机器的带宽 可以充分...
python scrapy-redis分布式爬虫
05-24
Scrapy-Redis是一个基于Scrapy框架的分布式爬虫解决方案，它使用Redis作为分布式队列和去重集合，实现了多个爬虫节点共享一个Redis队列和去重集合，从而实现了高效的分布式爬取。 使用Scrapy-Redis，你可以很容易地将一个单机版的Scrapy爬虫转换成一个分布式爬虫。下面是简单的步骤： 1. 安装Redis和Scrapy-Redis 首先需要安装Redis，并且确保Redis服务正常运行。另外，需要安装Scrapy-Redis库，可以通过pip命令来进行安装： ``` pip install scrapy-redis ``` 2. 修改爬虫设置 在Scrapy爬虫的settings.py文件中，需要添加如下配置： ``` # 启用Redis调度器 SCHEDULER = "scrapy_redis.scheduler.Scheduler" # 启用Redis去重过滤器 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" # 设置Redis为调度器和去重过滤器的数据存储位置 REDIS_URL = 'redis://localhost:6379' ``` 3. 修改爬虫代码 在Scrapy爬虫的代码中，需要将原来的start_urls修改为redis_key，例如： ``` class MySpider(RedisSpider): name = 'myspider' redis_key = 'myspider:start_urls' ``` 另外，需要将原来的parse方法改为如下形式： ``` def parse(self, response): # 爬虫代码 yield scrapy.Request(url, callback=self.parse_item) ``` 4. 运行爬虫 在启动爬虫之前，需要先往Redis队列中添加起始URL，例如： ``` redis-cli lpush myspider:start_urls http://www.example.com ``` 然后在命令行中启动分布式爬虫，例如： ``` scrapy crawl myspider ``` 这样就可以启动一个分布式的Scrapy爬虫了。在多个爬虫节点共享同一个Redis队列和去重集合的情况下，可以大大提高爬取效率和速度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值