【解决方案】scrapy报错KeyError: ‘Spider not found‘

最新推荐文章于 2023-12-29 16:13:04 发布
最新推荐文章于 2023-12-29 16:13:04 发布
阅读量5.7k 收藏
点赞数 2
分类专栏： Scrapy爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/muyao987/article/details/107580060
版权
本文探讨了一个常见的爬虫问题，即当命令行中的spider名称与class中的名称一致，且spiders目录存在__init__.py文件时，仍出现错误的情况。通过深入研究，作者发现spider内部的name变量与内置的name变量发生冲突，解决方法是更改该变量的名称。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

检查命令行里的spider名字和class中一致，且spiders目录也有__init__.py，然而还是报错，于是经过一番探究...

发现该spider里有个name变量...应该是和内置的name变量冲突了 改个名即可

《Python基础教程》内容总览篇（持续更新中）
weixin_43178406的博客
08-26 29万+
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。个人精心开设的《Python基础课程》专栏订阅量接近900，帮助不少同学解决了Bug。
python scrapy项目打包.exe及注意事项
weixin_42580700的博客
11-03 2139
python scrapy项目打包.exe 用到的工具：pyinstaller 步骤： one:在项目目录下创建脚本start_spider.py文件(注意：名字任意，和scrapy.cfg文件同级) two:start_spider.py文件内容： # -*- coding: utf-8 -*- from scrapy.crawler import CrawlerProcess from scrapy.utils.project import get_project_settings # 如果报错可
python3.7 scrapy 报错 KeyError: ‘Spider not found: baidu‘
qq_38192709的博客
08-01 2871
它没有找到 名叫 baidu 的爬虫，所以我根据提示一步一步让它跑起来了 先安装了 scrapy 再创建了 scrapy01 项目 scrapy startproject scrapy01 然后我根据提示，到了 scrapy01 这个页面， scrapy genspider example example.com 再修改了 example.py： 就有了下面的运行日志，不过并没有 “百度知道” 这些字样… … 于是，就把 settings.py 里面的 ROBOTSTXT_OBEY = True 改成了
KeyError: Spider not found (Scrapy)
dalingzi_的博客
08-18 732
scrapy KeyError: Spider not found（日常bug处理）
scrapy 部署 KeyError: Spider not found
玛卡`三少 的博客
03-23 647
如果是你手动改的，可能英文驼峰规范对不上导致问题，其它代码都正常死活识别不出来。原因是爬虫类名不是用命令创建的，因为后期手动改过，所以自己想当然的手动改了名字；我逐个都检查了一遍发现都不是上述问题，最后一点点排查后终于找到问题，坑爹！这个时候新建出来的没问题，部署都是正常的。常规情况创建，使用命令。
总结 运行Scrapy项目结果出错：KeyError: ‘Spider not found:
qq_27567543的博客
05-27 7605
1.命令行窗口的当前路径不在scrapy工程目录中，需要先进入scrapy工程目录，不一定要工程根目录，下一级子目录也可以 2.执行命令"scrapy crawl fileName"时，不要加.py后缀(本人就是加了后缀，一直错误) 正确：scrapy crawl fileName 错误：scrapy crawl fileName .py 、、、、、、、、、、、、、、、、、、、、、、、、、、、、、...
KeyError: 'Spider not found:name一样，为何还是找不到spider 多种解决方案，总有一个适合你！
热门推荐
weixin_41931602的博客
08-17 2万+
第一种：运行的main文件中的爬虫名字与爬虫文件中的name不相同 解决方案：令两者名字相同即可 第二种：爬虫文件夹中缺少__init__文件，一开始是直接在spider文件夹下创建的爬虫文件，然后把多个爬虫文件放进stt的文件夹中，运行main文件就不行了，原因就是在粘贴复制时漏了__init__文件。 解决方案：注意创建爬虫文件时的__init__文件不要丢失了。 3第三种...
KeyError: Spider not found 5种出错的情况
李玺
08-28 1万+
KeyError: 'Spider not found:name一样，为何还是找不到spider 呢。 往下看看，总有一个是你要的答案。 第一种（最简单的错误）： 运行的爬虫名字与爬虫文件中的name不相同 解决方案：令两者名字相同即可。当然90%的人不会是这个原因。 第二种：丢失init 解决方案：注意创建爬虫文件时的__init__文件不要丢失了。 第三种： 没有把爬虫文件放入s...
raise KeyError(f"Spider not found: {spider_name}") KeyError: 'Spider not found: beike'
05-22
比如，如果你的爬虫名为"beike_spider"，那么在运行命令时应该输入"scrapy crawl beike_spider"而不是"scrapy crawl beike"。 2. 确认你的爬虫已经定义在项目中。你可以在项目根目录下的"spiders"文件夹中查看是否...
运行后显示key error spider not found weather_spider 怎么办
06-12
这个错误通常表示你的程序中没有定义名为 "weather_spider" 的爬虫。请确保你的代码中已经定义了这个爬虫，并且你已经在正确的文件夹内运行了程序。 如果你确定代码中已经定义了这个爬虫，可以尝试运行以下命令： ...
KeyError: 'Spider not found:name为何找不到spider
Quest_sec的博客
04-03 857
四种可能：https://blog.csdn.net/weixin_41931602/article/details/81747393 一种可能：https://blog.csdn.net/qxqxqzzz/article/details/47187289?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=dist...
KeyError: 'Spider not found: xxxx'
qq_42470033的博客
05-27 1934
保证确实由有Spider的情况下，可以查看你的scrapy.cfg文件是否丢失。
KeyError: 'Spider not found: ***
weixin_30362083的博客
02-02 1065
scrapy运行时报错 Traceback (most recent call last): File "D:\Python\lib\site-packages\scrapy\spiderloader.py", line 69, in load return self._spiders[spider_name] KeyError: 'xiaozhu' Dur...
process.spider_loader.list()为空列表是什么原因导致的？KeyError: ‘Spider not found
朴拙科技的博客
03-31 506
在 Scrapy 框架中，方法返回一个列表，其中包含了 Scrapy 项目中所有可用的 Spider 的名称。如果您认为您的 Spider 已经正确的定义和配置，但还是出现了DEBUG如果以上步骤都没有解决问题，可以尝试重新创建 Scrapy 项目，并确保所有依赖项都是最新的。
KeyError: ‘Spider not found: myspider‘
最新发布
Zb_Xl的博客
12-29 633
最外面的文件夹myspider是我创建的scrapy项目，它里面有一个叫做spiders的文件夹，我们新建的scrapy文件放到这个文件夹里，然后运行 ‘scrapy crawl 你的Spider名称’，爬虫程序才会运行。Scrapy 项目的 Spider 类应该位于。文件夹中的 Python 文件中。
python keyerror5种方法_Python Scrapy-----KeyError: Spider not found 5种出错的情况
weixin_39799646的博客
12-23 1116
KeyError: 'Spider not found:name一样，为何还是找不到spider 呢。 往下看看，总有一个是你要的答案。第一种(最简单的错误)：运行的爬虫名字与爬虫文件中的name不相同 解决方案：令两者名字相同即可。当然90%的人不会是这个原因。第二种：丢失init 解决方案：注意创建爬虫文件时的__init__文件不要丢失了。第三种：没有把爬虫文件放入spiders文件夹中，导...
python keyerror解决_Python Scrapy-----KeyError: Spider not found 5种出错的情况
weixin_39526238的博客
03-01 943
KeyError: 'Spider not found:name一样，为何还是找不到spider 呢。 往下看看，总有一个是你要的答案。第一种(最简单的错误)：运行的爬虫名字与爬虫文件中的name不相同解决方案：令两者名字相同即可。当然90%的人不会是这个原因。第二种：丢失init解决方案：注意创建爬虫文件时的__init__文件不要丢失了。第三种：没有把爬虫文件放入spiders文件夹中，导致在...
scrapy KeyError: 'Spider not found: doubanmovie' FAQ
sakila的专栏
09-09 5765
Traceback (most recent call last): File "<stdin>", line 1, in <module> File "D:\anzhuang\Anaconda\lib\site-packages\spyderlib\widgets\externalshell\sitecustomize.py", line 682, in runfile execf
运行Scrapy项目结果出错：KeyError: ‘Spider not found:
Hello Word!
08-01 9763
http://www.crifan.com/python_run_scrapy_keyerror_spider_not_found/#606291-tsina-1-75101-bed29bf34a05d6df372b0aeff0a5121a 【总结】 在运行Scrapy项目时，不是： scrapy crawl 文件夹名字 -o respBody -t json
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值