关于scrapy中request过滤问题

最新推荐文章于 2022-08-02 16:30:10 发布
最新推荐文章于 2022-08-02 16:30:10 发布
阅读量1.9k 收藏
点赞数 1
分类专栏： 爬虫 文章标签： scrapy 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42833042/article/details/84064501
版权

问题起因

由于scrapy中有自带的spidermiddlewares去过滤我们yield进来的request请求，很多时候会导致爬取数据缺失会直接一部分跳过。

常见情景：
比如伯乐的文章
可以发现，最常见的就是spidermiddlewares.offsite过滤，官方文档也说明了：

我收到了 “Filtered offsite request” 消息。如何修复？
这些消息(以 DEBUG 所记录)并不意味着有问题，所以你可以不修复它们。

这些消息由Offsite Spider中间件(Middleware)所抛出。 该(默认启用的)中间件筛选出了不属于当前spider的站点请求。

文档地址：Scrapy常见问题(FAQ)

解决问题

在Request方法里，提供了dont_filter参数，设置在Request中，并改成True以回避过滤策略

请针对我谢谢
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
在scrapy中，不过滤重复的请求
一个程序员的成长之路。。。
02-01 7136
Scrapy提供了一个内置的重复请求过滤器，用于根据网址过滤重复的请求。可以根据业务需求制定规则过滤重复的请求 基于url过滤重复的请求 假设已访问过 http:://www.abc.com/p/xyz.html?id=1234&refer=4567 我想做的是过滤请求，如： http:://www.abc.com/p/xyz.html?id=1234&refer=5678 通
scrapy 爬虫过滤相同的url，Filtered duplicate request，dont_filter
qq_23392341的博客
09-01 4436
yield Request('https://www.zhihu.com', meta={'cookiejar':response.meta['cookiejar']}, headers=self.headers_zhihu, callback=
记一次使用scrapy过程中遇到的问题之过滤问题
mr~li的博客
04-17 693
我们都知道，scrapy的默认过滤机制是过滤已经请求过的url地址，就是说如果某个url地址在发起新的请求前已经请求过了，那么scrapy默认会给我们过滤掉本次请求，如果想改变这种默认机制也是可以的，在发请求的时候假如参数dont_filter=True，这个值默认是False的，所以才会过滤掉已经请求过的地址，至于过滤的原理是基于什么，这里不做详细介绍，有兴趣的可以看下scrapy的源码介绍，是...
使用 Scrapy 框架对重复的 url 无法获取数据，dont_filter=True
JIE的博客 --- moon_coder
08-02 2095
Scrapy在进入parse时，会默认请求一次start_urls[0]，而当你在parse中又对start_urls[0]进行请求时，Scrapy底层会默认过滤掉重复的url，不会对该请求进行提交，这就是为什么parse2不被调用的原因。添加dont_filter=True参数，这样Scrapy就不会过滤掉重复的请求。Scrapy内置了重复过滤功能，默认情况下该功能处于打开状态。你使用了Scrapy对重复的url进行请求。此时，parse2会被正常调用。...
【Scrapy】不同的Request请求，自己选择中间件进行过滤。scrapy指定某一个请求使用selenium模拟加载。
May女子の博客
10-10 1769
问题描述：Scrapy爬虫里，不同的Request请求，根据需求来选择不同的中间件进行过滤。 举例：scrapy爬虫时，有些请求需要借助selenium，但是其他请求不需要用selenium，那如何让某一个单独的请求使用selenium这个中间件？ 解决方法：简单将讲，用好meta这个参数进行传参。 第一步：先准备好一个selenium中间件 第二步：全局开启selenium中间件 第三步：爬...
scrapy 在迭代爬取时被拒 offsite 增加dont_filter=True
weixin_30291791的博客
10-09 236
转载于:https://www.cnblogs.com/yijiaming/p/9759027.html
Scrapy框架的使用之Scrapy通用爬虫
01-27
在大规模站点抓取中，为了减少重复代码和提高代码复用性，我们可以利用Scrapy的通用爬虫特性。通用爬虫主要依赖于CrawlSpider类，这是一个预设了爬取规则的Spider子类。 首先，CrawlSpider的核心在于`Rule`对象，它...
3.3_Scrapy框架1
08-08
1. 引擎从调度器中取出URL，封装为请求（Request）并传递给下载器。 2. 下载器下载网页内容，封装为响应（Response）返回给引擎。 3. 爬虫解析Response，提取Item和新的请求（Requests）。 4. Engine将Item发送给...
scrapy框架概览.pdf
12-01
4. **Spiders（蜘蛛）**：蜘蛛是Scrapy中编写爬取逻辑和网页解析规则的地方。蜘蛛接收引擎传递的响应（Response），从中提取数据（Item）和新的请求。 5. **Item（项目）**：Item是Scrapy中的数据结构，类似于...
详解Python的爬虫框架 Scrapy
09-16
1. **Scrapy Engine（引擎）**：引擎是Scrapy的核心，负责控制数据流在整个框架中的流动。它接收Spider产生的请求(Requests)，调度它们并发送给下载器(Downloader)，同时处理由下载器返回的响应(Responses)，并将...
Scrapy Web爬虫框架 v1.2.0
12-04
7. **Request/Response**：Scrapy使用Request对象来表示待下载的URL，而Response对象则包含下载后的页面内容。两者都有中间件接口，可以在请求被发送或响应到达时进行额外操作。 8. **Settings**：Scrapy项目设置...
scrapy 使用自定义的过滤器
易水寒
07-08 1592
from scrapy_redis.dupefilter import RFPDupeFilter class CustomFilter(RFPDupeFilter): def request_seen(self, request): """Returns True if request was already seen. Parameters ...
让scrapy 重复抓取同一个页面
Sean的博客
12-19 6234
Request(url, dont_filter = True)
scrapy学习day2
qq_44649956的博客
07-19 566
具体在命令行终端的操作就不展示了 爬虫实战------ 实现翻页 核心思想就是在起始页面找到转到下一页的那个标签中的url段，然后截取出来，并组合成完整url 从页面中提取下一个网页url的组成部分，组成完整url，并组装成requests发送 url的提取与组合，以及返回requests 这些代码是我将从前做的豆瓣电影爬取（普通爬取）用scrapy框架写出来 写入mysql数据库 先得在mysql中建表 scrapy中cookies不放在headers中，需...
Python爬虫笔记（十二）——Scrapy官方文档阅读笔记——request与response
菜到怀疑人生的博客
08-10 955
Request和Response对象用于爬取网站   Request对象 Request对象代表HTTP请求，通常由Spider生成，由Downloader执行发送，然后由Downloader生成返回Response对象 __init__：构造函数，常用参数： url：请求的url callback：用于处理response的函数，如果没有指定，scrapy默认使用parse函数 m...
爬虫中scrapy.Request的更多参数
qq_52262831的博客
12-12 7593
scrapy.Request参数介绍及meta参数说明
scrapy 去重 dont_filter=False
weixin_30673611的博客
10-03 1501
yield Request(...... dont_filter=False) 转载于:https://www.cnblogs.com/pythonClub/p/9740456.html
scrapy去重队列优化
weixin_37923128的博客
07-10 3131
参考博文：https://blog.csdn.net/bone_ace/article/details/53099042 https://blog.csdn.net/bone_ace/article/details/53107018 scrapy里面是可以设置去重的，只要在调用Request的时候将dont_filter设置为false就行了： d...
scrapy - Request 中的回调函数不执行
热门推荐
猫步旅人- 程序员的旅途
07-19 1万+
scrapy中 Request 中的回调函数没有被执行的问题
scrapy 布隆过滤器中间件编写
最新发布
08-19
在 Scrapy 中使用布隆过滤器中间件可以有效地过滤掉已经爬取过的重复URL，提高爬虫的效率。下面是一个简单的示例，展示了如何编写一个布隆过滤器中间件： ```python from scrapy.dupefilters import BaseDupeFilter...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值