如何查看scrapy 爬取过程中的报错，有解决方案的哦！

最新推荐文章于 2023-07-17 18:52:35 发布
最新推荐文章于 2023-07-17 18:52:35 发布
阅读量544 收藏
点赞数
分类专栏： Python 文章标签： python linux java android mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43881394/article/details/108740016
版权
本文介绍了Scrapy爬虫过程中常见的错误及其解决方法，包括403请求错误、items字段问题、Spider未找到错误以及'Unknown command: crawl'的解决。同时分享了一个小彩蛋，如何设置不让Scrapy的运行结果打印到终端，而是直接显示错误。
摘要由CSDN通过智能技术生成

常见报错及解决方法

 

1. 缺请求头的报错，请求403

在setting文件加上请求头即可，修改完记得保存。

这个会在检查完环境之后，开启爬虫准备爬取时显示出错误，看到403，一般就是被反爬了，先检查一下请求头。

 

2. items没传、少传值或者不对应

报错：KeyError: 'DoubanItem does not support field: title1'

对应的，在items文件中，加上或修改相关的变量即可。

 

 

3. 没有项目

报错：KeyError: 'Spider not found: douban'

是否存在？是否保存？

 

4. 运行不了问题：Unknown command: crawl

在cmd或者终端中运行报错࿱

最低0.47元/天 解锁文章
爬遍天下无敌手
关注
专栏目录
解决Scrapy报错: Unknown Command ‘crawl‘
MONKEYMONEY_的博客
12-05 4447
解决Scrapy报错: Unknown Command 'crawl'问题描述：报错：原因分析：解决方案： 问题描述： 编写好的项目(douban)在终端cmd运行 scrapy crawl douban可以运行。但通过vs code创建main.py却无法运行，出现报错’unknow command: crawl’ 。 报错： 在vs code中创建main.py运行douban from scrapy import cmdline cmdline.execute(['scrapy','crawl'
如何查看scrapy 爬取过程中的报错（附解决方法及运行结果解读）
明而决之
09-21 4516
文末有彩蛋~~ 常见报错及解决方法 2.1 缺请求头的报错，请求403 在setting文件加上请求头即可，修改完记得保存。 这个会在检查完环境之后，开启爬虫准备爬取时显示出错误，看到403，一般就是被反爬了，先检查一下请求头。 2.2 items没传、少传值或者不对应 报错：KeyError: 'DoubanItem does not support field: title1' 对应的，在items文件中，加上或修改相关的变量即可。 2.3 没有项目 ...
运行scrapy项目报错
木子的博客
05-11 617
问题： 我从git拉下来的scrapy项目运行scrapy crapy spidername报错。 Scrapy 2.4.1 - no active project Unknown command: crawl Use “scrapy” to see available commands 解决方案： 检查当前项目下是否有scrapy.cfg文件，如果没有则新建一个 内容为 # Automatically created by: scrapy startproject # # For more informa
解决scrapy框架命令执行(scrapy crawl xx)代码报错问题
最新发布
自信人生二百年，会当水击三千里
07-17 841
解决scrapy命令执行代码（scrapy crawl xxx）运行报错问题
python3.7 scrapy crawl 报错
guoqkmiss的博客
08-16 1977
python3.7 scrapy crawl name 报错 由于目前python最新版是3.7，之前电脑装了3.6，后面由于pip3 install module时报错，就更新到了3.7，使用scrapy爬取数据时，在运行时报错，异常内容为： from twisted.conch import manhole, telnet File “/Library/Frameworks/Pyth...
ValueError: Missing scheme in request url: scrapy 爬取图片的报错解决方案
sddr_circle的博客
05-24 1836
用python的scrapy框架爬取图片时，运行报错信息如下： ValueError: Missing scheme in request url: //cdn.shopify.com/s/files/1/1182/9792/products/ARD1040_3_100x.jpg?v=1527112369 2018-05-24 23:02:44 [scrapy.core.scraper] ER...
用scrapy框架爬取拉勾网招聘信息
m0_49079037的博客
07-14 2428
本文实例为爬取拉勾网上的如职位名, 薪资, 公司名称相关python的职位信息。 分析思路 分析查询结果页 在拉勾网搜索框中搜索'python'关键字, 在浏览器地址栏可以看到搜索结果页的url为: 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=', 尝试将?后的参数删除, 发现访问结果相同. 打开Chrome网页调试工具(F12), 分析每条搜索结果(即每个职位)在html中
Python之Scrapy初学问题集中（二）【爬取的数据为何数据库中没有？？（解决方案）】|【初级爬虫程序】
wenquan19960602的博客
03-07 1321
这次就是由于一个问题，引出了一系列的思路 问题是：scrapy爬取的数据控制台已经有内容输出，但是数据库中没有？ 下面是我过程中的问题：其实大多数的代码问题都是由于自己代码不熟练造成的 圈出来的内容在编写中是不能随意改变得（三种数据库的pipelines的写法结构相同）。 解答：我的错误就是由于将process_item ,顺手错写成了process_spider，导致数据无法放入数据库，而且...
Python爬虫：Scrapy报错：ModuleNotFoundError: No module named ‘scrapy.contrib‘
Yummy的博客
10-19 1865
项目场景： 今天，又开始自学Python爬虫Scrapy框架辽，爬爬爬于是又导包报错辽，，， 问题描述： 提示：第一行导入scrapy.contrib时报错了。 原因分析： 百度：找到类似的问题和解决方式： # bug： from scrapytest.NewsItems import NewsItem # 改为 # debug：from scrapytest.scrapytest.items import NewsItem 思考：重新导入 提示：导入时自动显示.scrap..
运行Scrapy crawl出错
影密卫
08-14 2448
使用的是Python3.7，安装完scrapy和一些依赖的库后运行scrapy crawl spidertieba。出现报错，报错信息是：  File "c:\users\administrator.user-20160420ae\appdata\local\programs\python\pyt hon37-32\lib\site-packages\twisted\conch\manhole....
Scrapy运行报错
luomcchen的博客
03-15 719
AttributeError: module 'OpenSSL.SSL' has no attribute 'SSLv3_METHOD'和AttributeError: module ‘lib‘ has no attribute ‘OpenSSL_add_all_algorithms
运行scrapy 报错：CRITICAL: Unhandled error in Deferred [Errno 11] Resource temporarily unavailable
热门推荐
数据知道的博客
11-21 3万+
报错如下： 2019-11-21 03:56:07 [engine.py:256] INFO: Spider opened 2019-11-21 03:56:07 [logstats.py:48] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) Unhandled error in Deferred:...
执行scrapy crawl spider_name出现错误 pywinapi不在
w3045872817的博客
05-26 752
在执行scrapy crawl spider_name出现一下错误： 是因为没有安装Pywin32：Pywin32作用访问windows系统API的库 下载地址：http://sourceforge.NET/projects/pywin32/files%2Fpywin32/
Pycharm运行Scrapy报错:no active project Unknown command: crawl Use “scrapy“ to see available commands
Cheng.py的博客
08-18 6221
出现这个错误的原因是： Pycharm的工作目录设置有误，造成无法识别 scrapy的crawl命令。 1. 查看目录里是否少了个 scrapy.cfg 文件 少了就添加如下 新建个scrapy.cfg文件，内容如下。 [settings] default = 项目名.settings [deploy] #url = http://localhost:6800/ project = 项目名 2. 再就是查看scrapy目录中Settings文件，，查看名称与路径是否出错 3. 别忘了看看并调整.
python爬虫执行scrapy crawl demo出现： import win32api ModuleNotFoundError: No module named 'win32api'错误
HWP
11-25 4100
执行： >scrapy crawl demo 可能会出现这个错误： import win32api ModuleNotFoundError: No module named 'win32api' 下载依赖呗：https://pypi.org/project/pywin32/#files 我的3.7的：https://download.csdn.net/download/weixi...
python3.7运行报错_Python 3.7 环境下运行 scrapy crawl 报错 def write(self, data, async=False)？...
weixin_39680154的博客
02-20 246
Python 3.7 环境下运行 scrapy crawl 报错 def write(self, data, async=False)，详细报错信息如下：2018-08-10 15:10:29 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: ArticleSpider)2018-08-10 15:10:29 [scrapy.utils.log...
Spider——scrapy运行报错
何惜戈
02-26 630
错误信息： :0: UserWarning: You do not have a working installation of the service_identity module: ‘cannot import name opentype’. Please install it from https://pypi.python.org/pypi/service_identity and ...
运行Scrapy框架报错，无法import引用的问题
qq_43110834的博客
12-05 1328
你永远不知道一个学电气的为什么要费心思在学爬虫，记录一下初学爬虫遇到的一个无法引用类的问题。 关于相对引用，绝对引用的知识，我这边就不再赘述，主要是今天拿别人的项目来调试运行的时候，发现引用一直报错，就很绝望。 首先，右键你的项目名，在出现的框框中找到Mark Directoryas——》Sources Root 这时你就可以看到你的项目名称变蓝了，不出意外运行一下是没问题的。 当然，在这之前我也参考了其他几位博主的问题，这里给大家汇总一下吧（好人做到底了） 1.python引入模块...
scrapy爬取过程中没有访问成功的url想要做一个记录
05-31
你可以在Scrapy的`settings.py`文件中添加一个`LOG_FILE`选项，指定一个日志文件的路径，用于记录Scrapy运行过程中的日志信息。具体操作如下： 1. 在`settings.py`文件中添加以下代码： ``` LOG_FILE = 'log.txt' ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值