2018-12-06 18:09:55 [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'weixin.so

最新推荐文章于 2023-06-29 10:11:38 发布
最新推荐文章于 2023-06-29 10:11:38 发布
阅读量406 收藏
点赞数
分类专栏： 日常练习 文章标签： scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42069074/article/details/84862724
版权

2018-12-06 18:09:55 [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to ‘weixin.sogou.com’: <GET http://weixin.sogou.com/weixin?query=python&sug_type
=&s_from=input&sug=n&type=2&page=2&ie=utf8>

在爬取搜狗微信文章时报错如上所示

DEBUG: Filtered offsite request to 'weixin.sogou.com’
Request中请求的 URL 和 allowed_domains 中定义的域名冲突，所以将Request中请求的URL过滤掉了，无法请求
在这里插入图片描述
在这里插入图片描述
在 Request 请求参数中，设置 dont_filter = True ,Request 中请求的 URL 将不通过 allowed_domains 过滤。
在这里插入图片描述
问题就解决了~

问题参照 PythonMaO：https://www.jianshu.com/p/c31e53fd45f6

CHONGKU
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
初学者scrapy框架爬取数据不成功，出现ERROR: Spider error processing错误问题的解决方法
05-11
初学者scrapy框架爬取数据不成功，出现ERROR: Spider error processing错误问题的解决方法
scrapy遇到的[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to ‘XXX‘错误处理
最新发布
qq_36220852的博客
12-08 556
[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'XXX'错误处理方法
昨天一个同事代码中报错[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to
liuqingup的专栏
06-29 399
昨天我遇到了一个有趣的问题，一个同事的代码中出现了一个报错，报错信息为：[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to...
[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to ‘XXX‘
晓风残月龙
10-25 513
一、问题描述 scrapy-redis中使用RedisCrawlSpider类爬虫，以Rule规则来匹配地址，运行爬虫时出现错误: [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'XXX' 二、解决 在settings.py中添加 SPIDER_MIDDLEWARES = { 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': None, } 原因: Do
scrapy_ [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to ’XXXX‘
jss19940414的博客
12-27 987
问题描述： 在使用scrapy框架进行爬虫时，当解析完请求start_urls的响应进行二次访问的时候，出现了无法访问的情况，系统过滤 了我的请求 . # -*- coding: utf-8 -*- import scrapy class LuboavSpider(scrapy.Spider): name = 'photo' allowed_domains = ['htt...
[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to
hongyd的博客
09-18 1445
出现以上问题的时候，是因为代码中设置了 allowed_domains = ['lab.scrapyd.cn/'] 可以注销这个声明，就好了
微信小程序demo：基于node：wechat app of girls scrapy spider via Node.js(源
06-19
微信小程序demo：基于node：wechat app of girls scrapy spider via Node.js(源代码+截图)微信小程序demo：基于node：wechat app of girls scrapy spider via Node.js(源代码+截图)微信小程序demo：基于node：wechat...
第八章：scrapy框架_第八章：scrapy框架.zip_
10-03
第八章：scrapy框架.zip
JobSpiders:scrapy框架爬取51job(scrapy.Spider)，智联招聘(扒接口)，拉勾网(CrawlSpider)
05-17
基于Scrapy框架的Python3就业信息Jobspiders爬虫 Items.py : 定义爬取的数据 pipelines.py : 管道文件，异步存储爬取的数据 spiders文件夹 : 爬虫程序 settings.py : Srapy设定，请参考 scrapy spider 爬取三大知名...
立体匹配方法基础
05-30
立体匹配方法基础，主要讲述了一些立体匹配的研究背景和意义，可以作为一个科普ppt
二十二、Scrapy中的Spider中间件
Norni的博客
06-17 270
Spider中间件可以用来处理发送给Spider的Response及Spider产生的Item和Request。 1、Scrapy内置的SPIDER_MIDDLEWARES_BASE 　　(1)'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware':50 　　(2)'scrapy.spidermiddlewares.offsite.Off...
DEBUG: Filtered offsite request to
小米的博客
05-30 1万+
在做爬虫项目时，出现了一个问题，解析一个网站二次爬取时没有获取到数据，就写了一个测试程序试了下，测试程序如下import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Ruleclass ZhenaiSpider(CrawlSpider):    name =...
python爬虫scrapy框架今天踩得坑([scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'jobs.5)
weixin_43788061的博客
03-09 1865
今天用爬虫框架爬取前程51python职位，一直爬取不出详情页，下一页url和详情页url都没问题，但就是没显示详情页内容，也没有报错，后来发现中间出现一个信息DEBUG: Filtered offsite request to 'jobs.51job.com'如下图： 后来发现是因为首页的域名和详情页的域名不一致导致的如下图： 首页域名： 详情页域名： 而我写的是首页域名...
scrapy_redis分布式爬虫遇到的问题DEBUG: Filtered offsite request to
记忆是一座桥的博客
06-03 1182
一、遇到的问题:DEBUG: Filtered offsite request to 'www.99yiyuan.com': &lt;GET http://www.99yiy。。。二、解决方法：设置setting.py文件SPIDER_MIDDLEWARES = {    'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': None,}如果您...
python爬虫学习日记(1) scrapy爬取时，报错Filtered offsite request
weixin_42523052的博客
06-22 1017
使用scrapy框架抓取某妹子图网时，只能抓取第一页，第二页报错[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'www.xxxx.com': &lt;GET http://www.xxxx.com/ent/meinvtupian/list_11_2.html&gt;度娘找到答案:因为 Request中请求...
scrapy 爬网站 显示 Filtered offsite request to 错误.
feifly329的专栏
11-07 1万+
爬取zol 网站图片,无法抓取. 在 setting.py 文件中 设置 日志 记录等级 LOG_LEVEL= 'DEBUG' LOG_FILE ='log.txt' 查看日志 发现报 2015-11-07 14:43:43+0800 [meizitu] DEBUG: Filtered offsite request to 'bbs.zol.com.cn': 这条日志记录有点奇
立体匹配
热门推荐
慢慢积累
03-09 1万+
立体匹配是立体视觉研究中的关键部分。其目标是在两个或多个视点中匹配相应像素点，计算视差。通过建立一个能量代价函数，对其最小化来估计像素点的视差，求得深度。概述 点P和Q，映射到左相机OR像面上的同一点p≡q，只要找到p和q在右相机OT像面上的对应点就可以通过三角计算估计深度。找到对应点的过程，即立体匹配。 为了找到对应点，需要增加约束，最常用的是极线约束。 P和Q映射到左相机QR像面上的同
scrapy运行时提示DEBUG: Filtered offsite request to
no_needle的博客
02-17 519
用scrapy爬取数据时，使用yield scrapy.Requeste()不能把数据传到下一个解析函数时，提示Filtered offsite request to [域名] 说明此时你请求的域名list.suning.com跟你起始设置的allowed_domains = ['book.suning.com']中的域名不一样，系统自动过滤掉与设置域名不一样的域名了，这里有两种解决办法： 办法1...
Filtered offsite request to 'product.dangdang.com': <GET http://product.dangdang.com/29370653.html> 2023-06-12 09:56:35 [scrapy.core.engine] INFO: Closing spider (finished)解释
06-13
这是 scrapy 爬虫框架的运行日志，其中包含了一条被过滤掉的请求记录。该请求是向 "product.dangdang.com" 发送了一个 GET 请求，请求的 URL 是 "http://product.dangdang.com/29370653.html"。这个请求被过滤掉了，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值