python的parse函数没有执行——问题已解决

最新推荐文章于 2024-03-23 17:52:55 发布
最新推荐文章于 2024-03-23 17:52:55 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43768963/article/details/109455263
版权
博客内容讲述了在使用Scrapy框架进行网页爬取时遇到因robots.txt禁止导致的问题，通过修改settings.py文件中的相关设置，成功解决了禁止爬取的问题。具体解决方案包括关注到日志中'Forbidden by robots.txt'提示，并调整设置以允许被禁止的请求。
摘要由CSDN通过智能技术生成

解决：
将settings.py文件中的ROBOTSTXT_OBEY = False修改为
ROBOTSTXT_OBEY = True

详细：
settings.py文件中的ROBOTSTXT_OBEY = True
在terminal输入>scrapy shell "https://www.baidu.com/"

[scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.baidu.com/robots.txt> (referer: None)
[scrapy.downloadermiddlewares.robotstxt] DEBUG: Forbidden by robots.txt: <GET https://www.baidu.com/>

由上面可知Forbidden by robots.txt，被禁止了

修改settings.py为ROBOTSTXT_OBEY = False时，

[scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (meta refresh) to <GET http://m.baidu.com/?cip=220.178.74.6&baiduid=39BFD0B47012C3EBFBFF2E5DD9CA5BA9&from=84
4b&vit=fps?from=844b&vit=fps&index=&ssi

最低0.47元/天 解锁文章
deeeesn
关注
专栏目录
Python高阶——argparse(命令行与参数解析)
12-21
【Python高阶——argparse(命令行与参数解析)】 在Python编程中，有时我们需要通过命令行接口执行脚本，并且可能需要向这些脚本传递参数。`argparse`模块是Python标准库中的一个功能强大的命令行选项、参数和子命令...
python 重定向 网址错_获取scrapy:python中的重定向URL时出错
weixin_34355360的博客
02-20 253
我用的是密码:def parse_find(self, response):Download_URL = "https://download.example.com/b/zMTY"request = Request(Download_URL, callback=self.parse_final)yield requestdef parse_final(self, response):redirec...
关于scrapy框架爬某站出现DEBUG: Redirecting (meta refresh)的问题
最新发布
qq_28917955的博客
03-23 452
Spider框架爬取m.baidu.com搜索结果。
Redirecting (meta refresh) scarapy 重定向
qq_29663489的博客
04-08 1120
https://www.buyelec.net 写京北数据爬取的时候遇到的问题，由于反爬，使用了https://center.abuyun.com/#/cloud/http-proxy/tunnel/lists 阿布云的代理， 然后爬不了6页就会出现上面的错误，而且还找不到原因，各种方法都尝试了 HTTP_RETRY_CODES = [404, 303, 304, 301,302] RE...
爬虫scrapy
CSDN_Xying的博客
10-21 2387
启动scrapy框架
scrapy中ROBOTSTXT_OBEY = True的相关说明
You_are_my_dream的博客
03-05 1万+
在scrapy中创建项目以后，在settings文件中有这样的一条默认开启的语句： # Obey robots.txt rules ROBOTSTXT_OBEY = True 观察代码可以发现，默认为True，就是要遵守robots.txt 的规则，那么 robots.txt 是个什么东西呢？ 通俗来说， robots.txt 是遵循 Robot协议 的一个文件，它保存在网站的服务器中，
Python爬虫——总结小知识点
12-22
Python爬虫技术是数据获取和分析的重要工具，它允许我们自动化地从网页抓取信息。在Python中，`urllib`库是实现基础网络请求的主要模块。本文将深入探讨`urllib`入门、`response`对象、用户代理的使用以及处理URL...
python3——argparse模块入门
01-06
python37——argparse模块入门 以下内容来源于对python文档的学习 基础 下列函数不作任何事情 import argparse parser = argparse.ArgumentParser() parser.parse_args() #如下是运行结果 $ python3 prog.py $ ...
python 爬虫基本使用——统计杭电oj题目正确率并排序
12-16
3. **parse**：提供了一系列处理URL的工具函数，如`urlparse()`用于拆分URL，`urljoin()`用于合并URL等。 4. **robotparser**：这个模块用于解析网站的robots.txt文件，以确定哪些页面可以被爬虫访问。在实际爬虫...
Scrapy学习笔记-解决Forbidden by robots.txt错误
肥叔菌的博客
04-23 9331
去setting中设置ROBOTSTXT_OBEY为false。 Scrapy默认遵守robots协议，所以针对某些网站，设置了robots.txt的规则，不允许爬取其中某些资源，则Scrapy就不会去爬取。 通过去setting中设置ROBOTSTXT_OBEY为false：ROBOTSTXT_OBEY = False 即可不遵守协议，而去爬取对应页面内容了。 ...
python 分析http查询字符串 urlparse.parse_qs
WangSai.coo的专栏
07-22 1万+
parse_qs 有几种实现 urlparse.parse_qs 返回字典 urlparse.parse_qsl 返回列表 这个模块在 python 3.0 中 改名为 urllib.parse urllib.parse.parse_qs 返回字典 urllib.parse.parse_qsl 返回列表 cgi中的这两个函数已经废弃了, 留在模块中 只是为了向后兼容, 推荐
爬虫出现Forbidden by robots.txt
热门推荐
菜鸡瞎讲
06-10 3万+
先说结论，关闭scrapy自带的ROBOTSTXT_OBEY功能，在setting找到这个变量，设置为False即可解决。 使用scrapy爬取淘宝页面的时候，在提交http请求时出现debug信息Forbidden by robots.txt，看来是请求被拒绝了。开始因为是淘宝页面有什么保密机制，防止爬虫来抓取页面，于是在spider中填入各种header信息，伪装成浏览器，结果还是不行。。。用
scrapy框架中settings文件中的参数详解,scrapy反反爬虫常用的一些方法以及解决爬虫过程中网页url重定向的问题
manfanying的博客
02-23 1369
scrapy框架中settings文件中的参数详解,scrapy反反爬虫常用的一些方法以及解决爬虫过程中网页url重定向的问题
【重磅推荐】Scrapy爬虫框架出现Forbidden by robots.txt（scrapy默认是不爬虫设置了robots.txt文件的,所以要配置一下）
weixin_43343144的博客
02-23 701
参考文章：https://blog.csdn.net/zzk1995/article/details/51628205   方法一：设置ROBOTSTXT_OBEY = False，这种不推荐(非万不得已）,强行爬虫容易封ip scrapy框架这个属性设置为False即可（默认为True） ROBOTSTXT_OBEY = False     第二种方法就是不改变 ROBOTS...
Python爬虫重定向问题scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302)
weixin_41586246的博客
09-07 946
爬虫重定向问题
Scrapy：[scrapy.core.engine] DEBUG: Crawled (200)解决尝试
old_pyer的博客
03-29 3552
2、首页（目类内容）获取正常，进入目类中具体页面获取数据时报错，估算一下，获取量有点频繁，是否跟“得到”cateyes数据时被关“小黑屋”类似。当时，正常调试具体代码，但提前写了获取N页数据，run了几次就获取不到了，页面提示IP频繁，暂不能访问。抱着解决问题就是最好的学习收获的原则，开始解决尝试。1、网络正常，网页正常打开正常、配置正常、代码正常，说明自身和通道环节基本上没有问题。第二部：核对参数setting和items的py文件中的配置是否异常。结果，具体页面数据运行正常。
Scrapy Crawled (200) ＜GET http://www.baidu.com/＞ (referer: None)错误及解决办法
weixin_55109596的博客
03-30 5816
如下图所示，此错误是建立在scrapy框架建立起来的情况下，如图所示，图片左侧是scrapy框架项目结构，出现标题的错误，首先点击如图所示的settings.py文件,找到第40行,如图所示我已经框出来了,这两行刚打开文件时注释的，把这两行注释解开，并且添加"user-agent"字段,这个字段可以在浏览器里面获取，详细就不介绍了，可以自行百度，然后再次运行项目，就可以发现获取到网络的源码了. ...
scrapy获取html不能写入到文件中,scrapy 正确结束但是并没有将信息存到文件中为什么？...
weixin_39605345的博客
06-03 231
按照视屏编写代码，但是就是没有运行结果(正确的运行结果会得到一个有内容的txt文件，但是我所得到的txt文件时一个空的)。请各位指教下面是代码：stocks.py# -*- coding: utf-8 -*-import scrapyimport reclass StocksSpider(scrapy.Spider):name = 'stocks'start_urls = ['http://quo...
Python3时间处理：datetime、time库与pandas时间序列对比解析
本文主要探讨了Python3中的三个时间处理库——`time`、`datetime`和`pandas`中的时间函数，强调了它们之间的区别和应用场景。 在Python编程中，处理时间数据是非常常见的需求。`time`库是Python提供的一种基础时间...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值