scrapy 爬网站 显示 Filtered offsite request to 错误.

最新推荐文章于 2023-12-08 15:35:37 发布
最新推荐文章于 2023-12-08 15:35:37 发布
阅读量1.1w 收藏 6
点赞数 8
CC 4.0 BY-SA版权
分类专栏： python 文章标签： Filtered offsite req 网页过滤
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/feifly329/article/details/49702063
本文介绍了解决从ZOL网站爬取图片时遇到的问题，包括如何在Scrapy项目的settings.py文件中设置日志记录等级，以及如何避免请求被过滤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

爬取zol 网站图片,无法抓取.

在 setting.py 文件中 设置 日志 记录等级

LOG_LEVEL= 'DEBUG'

LOG_FILE ='log.txt'

查看日志 发现报

2015-11-07 14:43:43+0800 [meizitu] DEBUG: Filtered offsite request to 'bbs.zol.com.cn': <GET http://bbs.zol.com.cn/dcbbs/d14_134253.html>

这条日志记录有点奇怪 果断上网百度 ,找到答案


官方对这个的解释，是你要request的地址和allow_domain里面的冲突，从而被过滤掉。可以停用过滤功能。

yield Request(url, callback=self.parse_item, dont_filter=True)
昨天一个同事代码中报错[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to
liuqingup的专栏
06-29 550
昨天我遇到了一个有趣的问题，一个同事的代码中出现了一个报错，报错信息为：[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to...
python爬虫学习日记(1) scrapy爬取时，报错Filtered offsite request
weixin_42523052的博客
06-22 1070
使用scrapy框架抓取某妹子图网时，只能抓取第一页，第二页报错[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'www.xxxx.com': &lt;GET http://www.xxxx.com/ent/meinvtupian/list_11_2.html&gt;度娘找到答案:因为 Request中请求...
scrapy提示DEBUG:Filtered offsite request to
lvqiuyao的专栏
08-07 1942
在使用scrapy爬取数据时，只可以执行parse函数中的内容，通过yield scrapy.Request(url,callback=self.detail)方式无法跳转到detail函数，导致显示详细信息的url不能被解析。 通过查看log，发现提示如下：            DEBUG：Filtered offsite request to 域名  通过查资料，发现request  
scrapy Filtered offsite request to
笑笑布丁的博客
07-02 258
scrapy Filtered offsite request to 原因是这样滴：allowed_domains出问题了，应该设置为顶级域名。 eg： 刚开始我用的是 allowed_domains = [“https://www.uniqlo.com/sg/store/women”],发现第二级parse调用Request的根本进入不了请求。 后改成 allowed_domains = [“u...
scrapy遇到的[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to ‘XXX‘错误处理
qq_36220852的博客
12-08 1016
[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'XXX'错误处理方法
2018-12-06 18:09:55 [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'weixin.so
weixin_42069074的博客
12-06 457
2018-12-06 18:09:55 [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to ‘weixin.sogou.com’: &lt;GET http://weixin.sogou.com/weixin?query=python&amp;sug_type =&amp;s_from=input&amp;su...
python爬虫scrapy框架今天踩得坑([scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'jobs.5)
weixin_43788061的博客
03-09 1941
今天用爬虫框架爬取前程51python职位，一直爬取不出详情页，下一页url和详情页url都没问题，但就是没显示详情页内容，也没有报错，后来发现中间出现一个信息DEBUG: Filtered offsite request to 'jobs.51job.com'如下图： 后来发现是因为首页的域名和详情页的域名不一致导致的如下图： 首页域名： 详情页域名： 而我写的是首页域名...
DEBUG: Filtered offsite request to
热门推荐
小米的博客
05-30 1万+
在做爬虫项目时，出现了一个问题，解析一个网站二次爬取时没有获取到数据，就写了一个测试程序试了下，测试程序如下import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Ruleclass ZhenaiSpider(CrawlSpider):    name =...
Filtered offsite request to 'img1.doubanio.com':
最新发布
11-22
"Filtered offsite request to 'img1.doubanio.com'" 是Scrapy（一个强大的网络爬虫框架）在运行时的一个调试信息，它表示尝试访问的URL 'img1.doubanio.com' 超出了你当前爬虫设置中的允许范围（即不在`allowed_...
Filtered offsite request to 'product.dangdang.com': <GET http://product.dangdang.com/29370653.html> 2023-06-12 09:56:35 [scrapy.core.engine] INFO: Closing spider (finished)解释
06-13
这是 scrapy 爬虫框架的运行日志，其中包含了一条被过滤掉的请求记录。该请求是向 "product.dangdang.com" 发送了一个 GET 请求，请求的 URL 是 "http://product.dangdang.com/29370653.html"。这个请求被过滤掉了，...
Scrapy DEBUG:Filterd offsite request 错误
Songsong
07-11 710
学了本文你能学到什么？仅供学习，如有疑问，请留言。。。 scrapy爬虫 scrapy在迭代爬取时被拒offsite增加dont_filter = True yield scrapy.Request(url=source_url, callback=self.cf_prase, meta={'title': ...
scrapy 爬网站 显示 Filtered offsite request to 错误
dta0502的博客
09-12 820
查看日志 发现报 2018-09-12 00:27:58 [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'book.douban.com': &lt;GET https://book.douban.com/top250?start=25&gt; 官方对这个的解释，是你要request的地址和all...
scrapy 二次爬网站 显示 Filtered offsite request to 错误
lk0723的博客
02-12 643
DEBUG: Filtered offsite request to ‘movie.douban.com’: <GET https://movie.douban.com/top250?start=25&filter=> 这是因为request的地址和allow_domain里面的冲突，从而被过滤掉。 解决办法： 1.停用过滤功能 yield Request(url, callb...
[scrapy] DEBUG: Filtered offsite request to
追逐阳光的风
11-24 2879
[scrapy] DEBUG: Filtered offsite request to 使用scrapy爬取豆瓣TOP250电影信息在进行自动翻页爬取的时候，出现了一个问题，解析自动翻页之后网页爬取时没有获取到数据。 测试代码: # -*- coding: utf-8 -*- import scrapy from douDanMovie.items import DoudanmovieItem...
Filtered offsite request to 错误
Kwoky的博客
07-10 5388
用scrapy-redis进行数据爬取，遇到了问题:DEBUG: Filtered offsite request to 'www.xxx.com': 。。。  那就是request的地址和allow_domain里面的冲突而被过滤我的爬虫类继承自RedisSpider，是不需要写allowd_domains的解决方法：使用Request的参数dont_filter=True，即：yield Re...
关于scrapy中request过滤问题
weixin_42833042的博客
11-14 2038
问题起因 由于scrapy中有自带的spidermiddlewares去过滤我们yield进来的request请求，很多时候会导致爬取数据缺失会直接一部分跳过。 常见情景： 可以发现，最常见的就是spidermiddlewares.offsite过滤，官方文档也说明了： 我收到了 “Filtered offsite request” 消息。如何修复？ 这些消息(以 DEBUG 所记录)并不...
scrapy_redis分布式爬虫遇到的问题DEBUG: Filtered offsite request to
记忆是一座桥的博客
06-03 1245
一、遇到的问题:DEBUG: Filtered offsite request to 'www.99yiyuan.com': &lt;GET http://www.99yiy。。。二、解决方法：设置setting.py文件SPIDER_MIDDLEWARES = {    'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': None,}如果您...
scrapy-redis中DEBUG: Filtered offsite request to xxx问题的解决办法
Kwoky的博客
09-03 3233
使用scrapy-redis开发分布式爬虫，既想使用分布式，又想用Rule规则实现深度爬取，所以使用了RedisCrawlSpider 但是出现了警告信息： Filtered offsite request to xxx 解决的办法就是在setting.py中设置: SPIDER_MIDDLEWARES = {     'scrapy.spidermiddlewares.offsite.Of...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值