爬虫中遇到的问题Crawled (404)，[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to

最新推荐文章于 2022-06-15 22:20:07 发布
最新推荐文章于 2022-06-15 22:20:07 发布
阅读量4k 收藏
点赞数
分类专栏： 问题解决 爬虫 文章标签： 爬虫 报错 scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaobai_IT_learn/article/details/101036598
版权
在使用Scrapy爬虫时，可能会遇到404错误，这通常是因为URL地址有误。解决方法是检查并确保使用正确的完全URL地址。另外，还会遇到'Filtered offsite request to'的报错，意味着请求被离站中间件过滤，可能需要调整Scrapy的配置来允许目标站点的请求。
摘要由CSDN通过智能技术生成
1.错误1：url地址有误

Crawled (200) <GET http://www.itcast.cn/robots.txt> (referer: None)
DEBUG: Crawled (404) <GET http://www.itcast.cn/channel/teacher.shtml/> (referer: None)

解决：复制url的完全地址
start_urls = ['http://www.itcast.cn/channel/teacher.shtml/']  # 刚开始的url
start_urls = ['http://www.itcast.cn/channel/teacher.shtml#ajavaee']  # 改了之后的url
2.错误2：[scrapy.spidermiddlewares.o
最低0.47元/天 解锁文章
xiaobai_IT_learn
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python 404_python 爬虫报 404
weixin_39898248的博客
12-09 720
019-01-05 15:50:16 [csrc][scrapy.extensions.logstats] INFO: Crawled 167 pages (at 10 pages/min), scraped 0 items (at 0 items/min)2019-01-05 15:50:19 [csrc][scrapy.core.engine] DEBUG: Crawled (404) &lt...
昨天一个同事代码中报错[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to
最新发布
liuqingup的专栏
06-29 436
昨天我遇到了一个有趣的问题，一个同事的代码中出现了一个报错，报错信息为：[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to...
python调用接口404_python 爬虫报 404
weixin_39564368的博客
12-05 1038
019-01-05 15:50:16 [csrc][scrapy.extensions.logstats] INFO: Crawled 167 pages (at 10 pages/min), scraped 0 items (at 0 items/min)2019-01-05 15:50:19 [csrc][scrapy.core.engine] DEBUG: Crawled (404) (r...
爬取网页时，报错出现404或者418问题
m0_63097763的博客
06-15 3621
出现该错误其实就是，该网页发现这是一个爬虫程序被识别出来，阻止爬取数据。解决方法：1）：添加headers代码段。 如果仍然出现错误，可能是访问次数太多而被网页识别，需要在网页中找到 Cookie 属性并添加到 headers中 添加之后应该就可以正常运行了。...
Scrapy学习日记2
NLP工程化
03-06 458
1.用户代理 解析：User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。...
scrapy爬虫出现‘Forbidden by robots.txt’错误
Z_Vixerunt的博客
10-30 2526
使用scrapy爬取知乎信息的时候，运行爬虫出错，错误信息是‘Forbidden by robots.txt’。然后在settings里面加入了cookie和headers信息还是不行。但是直接用urllib.request请求发现页面都能直接请求成功。 于是上网查了一下robot.txt是什么才知道有这么回事，看一下scrapy抓包时的输出可以发现，在请求设定的url之前，它会先向服务器根
[scrapy.spidermiddlewares.httperror] INFO: Ignoring respons 403...HTTP status code is not handled..
自封的羽球大佬
08-23 7927
分享一下这几天玩爬虫碰到的坑。 因为初学，所以边看书，边看别人的实例，本想照着别人的先搞出个小名堂，不料深陷403泥潭。我用的是scrapy框架，具体报错如下： [root@Uu tutorial]# scrapy crawl dmoz -o torrents.jl 2018-08-23 22:49:26 [scrapy.utils.log] INFO: Scrapy 1.5.1 start...
关于scrapy爬虫的注意事项
Ren_ger的博客
12-18 1358
1. 图片下载的设置 class ClawernameSpider(scrapy.Spider):     # 定制化设置     custom_settings = {         'LOG_LEVEL': 'DEBUG',  # Log等级，默认是最低级别debug         'ROBOTSTXT_OBEY': False,  # default Obey robots.txt ...
python爬虫之十一_scrapy框架经验、错误
IMchg的博客
11-05 4808
发是发发发的
爬虫出现Forbidden by robots.txt
热门推荐
菜鸡瞎讲
06-10 3万+
先说结论，关闭scrapy自带的ROBOTSTXT_OBEY功能，在setting找到这个变量，设置为False即可解决。 使用scrapy爬取淘宝页面的时候，在提交http请求时出现debug信息Forbidden by robots.txt，看来是请求被拒绝了。开始因为是淘宝页面有什么保密机制，防止爬虫来抓取页面，于是在spider中填入各种header信息，伪装成浏览器，结果还是不行。。。用
洗礼灵魂，修炼python（72）--爬虫篇—爬虫框架：Scrapy
dingyu6453的博客
12-12 540
题外话： 前面学了那么多，相信你已经对python很了解了，对爬虫也很有见解了，然后本来的计划是这样的：（请忽略编号和日期，这个是不定数，我在更博会随时改的） 上面截图的是我的草稿 然后当我开始写博文的时候，我发现讲解PhantomJS的话，会涉及到JS代码，而相信跟着我的学习路线从小白上来的，应该都还没学过JS吧，说到JS，那么和Phantom很像的一个模块casper...
使用scrapy做爬虫遇到的一些坑：网站常用的反爬虫策略，如何机智的躲过反爬虫Crawled (403)
weixin_41931602的博客
06-13 2万+
在这幅图中我们可以很清晰地看到爬虫与反爬虫是如何进行斗智斗勇的。在学习使用爬虫时，我们制作出来的爬虫往往是在“裸奔”，非常的简单。简单低级的爬虫有一个很大的优点：速度快，伪装度低。如果你爬取的网站没有反爬机制，爬虫们可以非常简单粗暴地快速抓取大量数据，但是这样往往就导致一个问题，因为请求过多，很容易造成服务器过载，不能正常工作。于是许多网站为了保护自己的服务器，往往会采用反爬虫技术来“狙击”爬虫，...
python scrapy处理404
u012329294的专栏
05-30 3716
class ZfSpider(RedisSpider): handle_httpstatus_list = [404] 在自己的代码中，加入handle_httpstatus_list = [404]就可以了。
Scrapy shell调试返回403错误
fendo
04-17 1万+
一、问题描述 有时候用scrapy shell来调试很方便,但是有些网站有防爬虫机制,所以使用scrapy shell会返回403,比如下面 C:\Users\fendo>scrapy shell https://book.douban.com/subject/26805083/ 2017-04-17 15:18:53 [scrapy.utils.log] INFO: Scra
scrapy 出现４０４处理
黑暗骑士
09-20 1万+
第一种解决策略： from scrapy.http import Request from scrapy.spider import BaseSpider class MySpider(BaseSpider): handle_httpstatus_list = [404, 500] name = "my_crawler" start_urls = ["htt
['MOOCSpider.pipelines.TextPipeline', 'MOOCSpider.pipelines.MongoPipeline'] 2023-05-16 22:37:59 [scrapy.core.engine] INFO: Spider opened 2023-05-16 22:37:59 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 2023-05-16 22:37:59 [course] INFO: Spider opened: course 2023-05-16 22:37:59 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 2023-05-16 22:37:59 [scrapy.core.engine] DEBUG: Crawled (200) <POST https://www.icourse163.org/web/j/mocSearchBean.searchCourse.rpc?csrfKey=e3e6d578b16f42e7afe506ddae0ddd7b> (referer : None)
05-17
这是Scrapy爬虫框架输出的日志信息，它告诉我们爬虫程序已经启动并打开了一些管道（pipelines），包括文本管道（TextPipeline）和MongoDB管道（MongoPipeline），同时还监听了一个Telnet控制台。接着它向一个网站发送了一个POST请求，并收到了200的响应码。这个POST请求的目的可能是搜索相关的课程信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值