python爬虫学习日记(1) scrapy爬取时，报错Filtered offsite request

最新推荐文章于 2022-02-12 17:00:52 发布
最新推荐文章于 2022-02-12 17:00:52 发布
阅读量1k 收藏 3
点赞数 2
分类专栏： 日记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42523052/article/details/80778037
版权

使用scrapy框架抓取某妹子图网时，只能抓取第一页，第二页报错

[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'www.xxxx.com': <GET http://www.xxxx.com/ent/meinvtupian/list_11_2.html>

度娘找到答案:

因为 Request中请求的 URL 和 allowed_domains 中定义的域名冲突，所以将Request中请求的URL过滤掉了，无法请求

最低0.47元/天 解锁文章
python自学
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python爬虫框架scrapy实战之爬取京东商城进阶篇
09-21
在Python的Web爬虫领域，Scrapy是一个功能强大的框架，常被用于高效地爬取和处理网站数据。本篇文章将深入探讨如何使用Scrapy爬取京东商城的商品信息，特别关注动态加载的内容。 **一、Scrapy框架基础** Scrapy是...
python爬虫学习笔记-scrapy框架(1)
01-29
python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python ...
Filtered offsite request to 错误
Kwoky的博客
07-10 5317
用scrapy-redis进行数据爬取，遇到了问题:DEBUG: Filtered offsite request to 'www.xxx.com': 。。。  那就是request的地址和allow_domain里面的冲突而被过滤我的爬虫类继承自RedisSpider，是不需要写allowd_domains的解决方法：使用Request的参数dont_filter=True，即：yield Re...
scrapy 错误集锦：
he_ranly的博客
04-01 492
1.scrapy 爬网站 显示 Filtered offsite request to 错误. 爬取京东商品时出现：DEBUG: Filtered offsite request to 'item.jd.com': <GET https://item.jd.com/39652897238.html> 官方对这个的解释，是你要request的地址和allow_domain里面的冲突，...
scrapy 爬网站 显示 Filtered offsite request to 错误
qq_40138248的博客
12-12 262
在用scrapy框架爬取某些网站碰到需要提取ajax请求的json数据时，可能会出现url不在允许的域名范围内，这个时候就会出现下面这种错误： Filtered offsite request to 'xxxxxxxx' 这个时候只需要停掉过滤功能就好了： yield scrapy.Request( url=url2, callb...
Filtered off site request to
m0_46458132的博客
02-12 281
爬取某网页时没有得到内容，查看debug发现： 原因：二次解析的域名被过滤掉 解决：将Filtered off site request to后的这个url加入到
python爬虫学习笔记-scrapy框架(2)
01-29
python爬虫学习 scrapy框架 爬虫学习 scrapy python爬虫学习 scrapy框架 爬虫学习 scrapy python爬虫学习 scrapy框架 爬虫学习 scrapypython爬虫学习 scrapy框架 爬虫学习python爬虫学习 scrapy框架 爬虫学习python...
DEBUG: Filtered offsite request to
小米的博客
05-30 1万+
在做爬虫项目时，出现了一个问题，解析一个网站二次爬取时没有获取到数据，就写了一个测试程序试了下，测试程序如下import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Ruleclass ZhenaiSpider(CrawlSpider):    name =...
scrapy 爬网站 显示 Filtered offsite request to 错误.
黑暗骑士
02-20 1891
爬取zol 网站图片,无法抓取. 在 setting.py 文件中 设置 日志 记录等级  LOG_LEVEL= 'DEBUG' LOG_FILE ='log.txt' 查看日志 发现报 2015-11-07 14:43:43+0800 [meizitu] DEBUG: Filtered offsite request to 'bbs.zol.com.cn':
scrapy提示DEBUG:Filtered offsite request to
lvqiuyao的专栏
08-07 1883
在使用scrapy爬取数据时，只可以执行parse函数中的内容，通过yield scrapy.Request(url,callback=self.detail)方式无法跳转到detail函数，导致显示详细信息的url不能被解析。 通过查看log，发现提示如下：            DEBUG：Filtered offsite request to 域名  通过查资料，发现request  
SSIS 字符串转时间格式注意事项
feifly329的专栏
04-10 5535
花了两天时间
用scrapy写爬虫 显示 Filtered offsite request to 错误.
loguat的博客
05-20 624
爬电源网公司信息，无法爬取。 查看控制台发现报如下错误： DEBUG: Filtered offsite request to ‘product.dianyuan.com’: 果断上网百度 ,找到答案 。官方对这个的解释，是你要request的地址和allow_domain里面的冲突，从而被过滤掉。可以停用过滤功能。 yield Request(url, callback=self.
[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to
hongyd的博客
09-18 1450
出现以上问题的时候，是因为代码中设置了 allowed_domains = ['lab.scrapyd.cn/'] 可以注销这个声明，就好了
scrapy - Request 中的回调函数不执行
热门推荐
猫步旅人- 程序员的旅途
07-19 1万+
scrapy中 Request 中的回调函数没有被执行的问题
python爬虫scrapy爬取网站
最新发布
06-28
回答1：</h3><br/>Python爬虫Scrapy是一种用于爬取网站数据的工具。它可以自动化地从网站上获取数据，并将其存储在本地或远程服务器上。Scrapy使用Python编写，具有高效、灵活和可扩展的特点，可以处理大量数据和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值