使用布隆去重代替scrapy_redis(分布式爬虫)自带的dupefilter

最新推荐文章于 2022-11-05 21:30:14 发布
最新推荐文章于 2022-11-05 21:30:14 发布
阅读量1.9k 收藏 5
点赞数 4
分类专栏： python 分布式爬虫 scrapy 文章标签： scrapy_redis python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36574108/article/details/82889744
版权
python 同时被 3 个专栏收录
15 篇文章 0 订阅
订阅专栏
scrapy
5 篇文章 0 订阅
订阅专栏
分布式爬虫
2 篇文章 0 订阅
订阅专栏

使用布隆去重代替scrapy_redis(分布式爬虫)自带的dupefilter

Github下载链接：https://github.com/liyaopinner/BloomFilter_imooc
精简版百度云盘链接: https://pan.baidu.com/s/11a_K_6WTifeHTG8lIY5ckQ 提取码: kq73

  1. 安装mmh3库
    a>使用布隆去重之前需要安装mmh3库，这里我们直接下载已经编译过的mmh3文件
    百度云盘下载链接: https://pan.baidu.com/s/1-MxZkQHd7J4g_nctHPe_Xg 提取码: y6q5
    下载完成之后，解压文件，将这个两个文件复制到现在使用的python环境中
    在这里插入图片描述
    b>例如我现在用的是虚拟环境，放置之后python虚拟环境就相当于安装了该包
    在这里插入图片描述
  2. Bloom文件
    a>如果是在github上下载，需要对源代码进行修改，如果是在百度云盘上下载，因为百度云盘上的代码我已经修改过了，所以直接可以跳到c>步骤
    在这里插入图片描述
    b>复制这两行代码，添加if name == ‘main’，并对__init__函数进行修改
    在这里插入图片描述
    在这里插入图片描述
    c>将修改后的这个py文件放到scrapy_redis文件夹下
    在这里插入图片描述
  3. 修改scrapy_redis中的dupefilter.py
    a>打开scrapy_redis中的dupefilter.py文件，首先导入刚刚修改的布隆去重的包
    在这里插入图片描述
    b>在初始化函数中初始化PyBloomFilter()对象
    在这里插入图片描述
    c>最后找到def request_seen(self, request):这个方法，重写这个方法
    在这里插入图片描述
  4. 到此为止咱们已经将scrapy_redis自带的去重替换成了布隆去重了
牛帅兵
关注
专栏目录
scrapy_redis对接布隆过滤器(Bloom Filter)
徐代龙的技术专栏
05-28 3139
使用方式： pip3 install scrapy-redis-bloomfilter 使用的方法和Scrapy-Redis基本相似，在这里说明几个关键配置。 # 去重类，要使用Bloom Filter请替换DUPEFILTER_CLASS DUPEFILTER_CLASS = "scrapy_redis_bloomfilter.dupefilter.RFPDupeFilter" #...
【爬虫学习笔记day52】6.2. scrapy-redis的官方文档源码分析参考：Dupefilter
汪雯琦的博客
01-29 358
文章目录6.2. scrapy-redis的官方文档源码分析参考：Dupefilterdupefilter.py 6.2. scrapy-redis的官方文档源码分析参考：Dupefilter dupefilter.py 负责执行requst的去重，实现的很有技巧性，使用redis的set数据结构。但是注意scheduler并不使用其中用于在这个模块中实现的dupefilter键做request...
Redis结合布隆去重，部署分布式爬虫
wu_tian_hao的博客
09-29 531
        如果想判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。链表，树等等数据结构都是这种思路. 但是随着集合中元素的增加，我们需要的存储空间越来越大，检索速度也越来越慢。不过世界上还有一种叫作散列表（又叫哈希表，Hash table）的数据结构。它可以通过一个Hash函数将一个元素映射成一个位阵列（Bit Array）中的一个点。这样一来，我们只要看看这...
Bloom Filter替换Scrapy-Redis集合去重
kong
09-05 666
Bloom Filter替换Scrapy-Redis集合去重 Scrapy-Redis源码解析传送门 Scrapy-Redis在dupefilter.py文件中主要使用Redis集合来保存Request的指纹，提供重复过滤。 dupefilter.py文件修改 修改其中的request_seen()方法。 def request_seen(self, request): ...
Scrapy-Redis源码解读
热门推荐
pengjunlee的博客
05-07 2万+
在上一章《Scrapy-Redis入门实战》中，我们在一个普通的Scrapy项目的settings.py文件中仅额外增加了如下几个配置就使项目实现了基于Redis的Requests请求过滤和Items持久化两大功能。 ###################################################### ##############下面是Scrapy-Redis相关配置#...
redis队列去重_scrapy 去重与 scrapy_redis 去重与布隆过滤器
weixin_32324637的博客
01-14 265
这是从博客地址搬过来的在开始介绍 scrapy 的去重之前，先想想我们是怎么对 requests 对去重的。requests 只是下载器，本身并没有提供去重功能。所以我们需要自己去做。很典型的做法是事先定义一个去重队列，判断抓取的 url 是否在其中，如下：crawled_urls = set()def check_url(url):if url not in crawled_urls:retur...
redis队列去重_scrapy去重与scrapy_redis去重与布隆过滤器
weixin_36265507的博客
01-14 226
在开始介绍scrapy的去重之前，先想想我们是怎么对requests对去重的。requests只是下载器，本身并没有提供去重功能。所以我们需要自己去做。很典型的做法是事先定义一个去重队列，判断抓取的url是否在其中，如下：crawled_urls = set()def check_url(url):if url not in crawled_urls:return Truereturn False...
爬虫教程（ 4 ） --- 分布式爬虫 scrapy-redis、集群
墨鱼菜鸡
07-11 1082
1、分布式爬虫scrapy - redis scrapy 分布式爬虫 文档：http://doc.scrapy.org/en/master/topics/practices.html#distributed-crawls Scrapy 并没有提供内置的机制支持分布式(多服务器)爬取。不过还是有办法进行分布式爬取， 取决于您要怎么分布了。 如果您...
Scrapy 爬虫去重效率优化之 Bloom Filter的算法的对接
墨鱼菜鸡
07-11 379
From：https://cloud.tencent.com/developer/article/1084962 Python分布式爬虫打造搜索引擎Scrapy精讲—将bloomfilter(布隆过滤器)集成到scrapy-redis中https://www.cnblogs.com/adc8868/p/7442306.html scrapy redi...
Scrapy-redis源码学习
流年浅滩
07-02 879
defaults: 默认参数配置 connection: 建立 Redis 连接 utils queue: 任务调度队列 dupefilter: 实现 request 去重 scheduler: 远程任务调度 spiders: 赋予 Scrapy spiders 远程调度 pipelines: 默认数据收集存储 Scrapy 是 Python 的一个非常强大的爬虫库，但是当我们要...
ScrapyRedisBloomFilter:Scrapy Redis Bloom过滤器
05-11
Scrapy-Redis-BloomFilter 这是一个支持Scrapy-Redis的BloomFilter的软件包。 安装 您可以使用pip轻松安装此软件包： pip install scrapy-redis-bloomfilter 依赖关系： Scrapy-Redis> = 0.6.8 用法 将此设置添加到settings.py ： # Ensure use this Scheduler SCHEDULER = "scrapy_redis_bloomfilter.scheduler.Scheduler" # Ensure all spiders share same duplicates filter through redis DUPEFILTER_CLASS = "scrapy_redis_bloomfilter.dupefilter.RFPDupeFilter" #
scrapy_redis 分布式去重配置
m0_37932636的博客
11-13 1万+
近期接手别人的爬虫项目，需要改写成分布式的方式部署上服务器，使用srapy_redis完成此项功能，记录下相关的配置信息   爬虫文件继承的类名必须更改为scrapy_redis对应的类名，在前面加上Redis即可 去重组件和调度器也需更改： # DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" # SCHEDULE...
Scrapy-redis之RFPDupeFilter、Queue、Scheduler
weixin_30341745的博客
09-02 92
scrapy-redis去重应用 1 # -*- coding: utf-8 -*- 2 import scrapy 3 from scrapy.http import Request 4 5 6 class ChoutiSpider(scrapy.Spider): 7 name = 'chouti' 8 allowed_domai...
python 全栈开发，Day137(爬虫系列之第4章-scrapy框架)
shykevin的博客
09-30 613
python 全栈开发，Day137(爬虫系列之第4章-scrapy框架) 一、scrapy框架简介 1. 介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领...
缓存穿透和布隆过滤器
gejiangbo222的专栏
03-25 473
缓存雪崩 缓存雪崩指的是Redis当中的大量缓存在同一时间全部失效，而假如恰巧这一段时间同时又有大量请求被发起，那么就会造成请求直接访问到数据库，可能会把数据库冲垮。 缓存雪崩一般形容的是缓存中没有而数据库中有的数据，而因为时间到期导致请求直达数据库。 解决方案 解决缓存雪崩的方法有很多，常用的有以下几种： 加锁，保证单线程访问缓存。这样就不会有很多请求同时访问到数据库。 key值的失效时间不要设置成一样。典型的就是初始化预热数据的时候，将数据存入缓存时可以采用随机时间来确保不会在同
scrapy实现分布式爬虫以及布隆过滤器，scrapy-redis所遇到的问题，终端进入虚拟环境
最新发布
weixin_47481982的博客
11-05 934
记录一下scrapy实现分布式爬虫以及布隆过滤器的使用：所用版本： pip install scrapy==2.5.1 pip install scrapy-redis==0.7.2 版本问题，有的版本过高会导致scrapy-redis无法正常使用，卸载安装过的库只需要执行命令pip uninstall scrapy即可卸载其他同理。 报错：from collections import Iterable Im
scrapy去重队列优化
weixin_37923128的博客
07-10 3149
参考博文：https://blog.csdn.net/bone_ace/article/details/53099042 https://blog.csdn.net/bone_ace/article/details/53107018 scrapy里面是可以设置去重的，只要在调用Request的时候将dont_filter设置为false就行了： d...
分布式爬虫
沉觞的博客
06-20 421
分布式爬虫分布式爬虫1、分布式爬虫系统2、分布式爬虫系统的工作原理2.1分布式爬虫的数据库2.2 分布式爬虫的运行流程3、依赖包安装 pip install scrapy_redis4、在setting文件中修改管道5、接下来修改dushu .py文件5.1 导入分布式爬虫类5.2 爬虫类继承scrapy_redis组件中的分布式爬虫类5.3 连接远程的redis数据库 这里使用上次完成的项目 DushuPro 链接：https://pan.baidu.com/s/1eNIDWgT42iN-8YOBj0IB
84 爬虫 - scrapy-redis源码分析（dupefilter）
阿甘兄
09-02 846
负责执行requst的去重，实现的很有技巧性，使用redis的set数据结构。但是注意scheduler并不使用其中用于在这个模块中实现的dupefilter键做request的调度，而是使用queue.py模块中实现的queue。 当request不重复时，将其存入到queue中，调度时将其弹出。 import logging import time from scrapy.dupefilte...
Redis分布式缓存系统：高效数据存储解决方案
基于Redis实现的分布式布隆过滤器可以在分布式环境中对大数据集进行高效过滤，同时减少误判率。 - **Redis云平台CacheCloud**： CacheCloud是一个开源的Redis云管理平台，支持Redis的集群管理、监控、运维等功能。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值