python scrapy报错

最新推荐文章于 2024-08-08 21:40:15 发布
最新推荐文章于 2024-08-08 21:40:15 发布
阅读量1.2k 收藏
点赞数
分类专栏： Python 文章标签： scrapy python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wshzd/article/details/79217218
版权

在使用python处理scrapy按照通常的步骤

1、scrapy startproject yourprojectname

2、配置item.py

3、编写spider脚本以及其他配置文件

4、scrapy crawl name(spider文件name的值)

在执行完第四步后，有时候会报如下错误：

KeyError: 'Spider not found: dmoz'

解决方案是，先执行下面的脚本再执行爬虫的脚本

scrapy genspider tencentPostion tencentPostion.org



wshzd
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
scrapy genspider basic baidu ModuleNotFoundError: No module named 'urlparse'
04-24 592
Traceback (most recent call last): File "c:\python37\lib\runpy.py", line 193, in _run_module_as_main "__main__", mod_spec) File "c:\python37\lib\runpy.py", line 85, in _run_code exec(code...
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
热门推荐
孤寒者的博客
08-09 61万+
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
python安装scrapy报错
gznc_pcc的博客
05-22 1022
报错信息： running build_ext building 'twisted.test.raiser' extension error: Unable to find vcvarsall.bat 解决方法： 报错是因为缺少编译环境相关的插件，我们需要先安装Twisted 点这里下载 下载完成后找到下载的路径，在cmd中输入pip install 路径+文件名 我这里的是：`C...
python3.6使用scrapy报错
10-16 139
　　用python做爬虫的，肯定熟悉scrapy,不过新手安装总是会遇到各种奇葩错误。 错误一：building 'twisted.test.raiser' extensionerror: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landi...
python老是报错_python 中的scrapy 框架总是报错？
weixin_39850981的博客
12-18 212
#!/usr/bin env python3import scrapy, jsonclass jingzhunspider(scrapy.Spider):name = "jingzhun"allowed_domains = []start_urls = ['https://rong.36kr.com/']def __init__(self):self.headers={"Referer":"htt...
Python第三方包scrapy报错可能解决办法
SunChao3555的博客
01-22 670
在windows下，在cmd中运行pip install scrapy报错： 解决方案 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件（如我的Twisted‑17.9.0‑cp35‑cp35m‑win_amd64.whl），cp后面是python版本，amd64代表64位，运行命令：
python3 安装scrapy报错的解决方法
10-05
以下将详细介绍两种解决Python3环境下安装Scrapy报错的方法。 **方法一：手动下载与安装** 当使用`pip install scrapy`命令时，如果遇到依赖库不兼容或缺失的问题，可以采取手动下载和安装的方式。首先，你需要...
python3.7 scrapy 报错 KeyError: ‘Spider not found: baidu‘
qq_38192709的博客
08-01 2708
它没有找到 名叫 baidu 的爬虫，所以我根据提示一步一步让它跑起来了 先安装了 scrapy 再创建了 scrapy01 项目 scrapy startproject scrapy01 然后我根据提示，到了 scrapy01 这个页面， scrapy genspider example example.com 再修改了 example.py： 就有了下面的运行日志，不过并没有 “百度知道” 这些字样… … 于是，就把 settings.py 里面的 ROBOTSTXT_OBEY = True 改成了
解决Scrapy报错: Unknown Command ‘crawl‘
MONKEYMONEY_的博客
12-05 4379
解决Scrapy报错: Unknown Command 'crawl'问题描述：报错：原因分析：解决方案： 问题描述： 编写好的项目(douban)在终端cmd运行 scrapy crawl douban可以运行。但通过vs code创建main.py却无法运行，出现报错’unknow command: crawl’ 。 报错： 在vs code中创建main.py运行douban from scrapy import cmdline cmdline.execute(['scrapy','crawl'
Python安装Scrapy报错的可以进来康康
weixin_42636075的博客
01-08 238
1、直接看看报错信息 在这里插入图片描述 2、原因：缺少Twisted-19.10.0-cp38-cp38-win_amd64.whl的镜像文件 第一步下载（cp后面是你的python版本；adm是你的系统多少位）下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/ 第二步安装，如下图： 第三步，安装Scrapy 搞定 ...
关于python安装scrapy报错的解决办法
I_am_sold_out的博客
02-15 477
关于python安装scrapy报错的解决办法 报错内容 看了课程上的直接在终端输入pip install scrapy，结果出错了，报错如下（截取了最后一部分）： 问题原因 Scrapy框架基于Twisted，因为我没有安装Twisted，所以Scrapy安装失败。于是我就在网上下载对应的whl包。 解决办法 由于用python下载会有很大的延时，一个几M的包都安装不了，于是我直接在网上先把这两个包下载了，网页：https://www.lfd.uci.edu/~gohlke/pythonlibs/。如果找
Windows安装Python组件Scrapy报错的解决方案
天灵狐的小岛
04-26 3008
报错： error: Unable to find vcvarsall.bat 解决方案： 手动安装twisted插件： 1.在http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted用Ctrl+F搜索twisted，下载对应版本。 我是Python3.5,64位，即下载 2.用pip安装wheel（whl安装依赖） 用命令
2024年python安装scrapy运行测试代码出现LookupError: unknown encoding: ‘b‘utf8‘‘的解决办法
最新发布
HG0724的博客
08-08 469
LookupError: unknown encoding: 'b'utf8'' 出错的解决办法
KeyError: 'Spider not found:name一样，为何还是找不到spider 多种解决方案，总有一个适合你！
weixin_41931602的博客
08-17 2万+
第一种：运行的main文件中的爬虫名字与爬虫文件中的name不相同 解决方案：令两者名字相同即可 第二种：爬虫文件夹中缺少__init__文件，一开始是直接在spider文件夹下创建的爬虫文件，然后把多个爬虫文件放进stt的文件夹中，运行main文件就不行了，原因就是在粘贴复制时漏了__init__文件。 解决方案：注意创建爬虫文件时的__init__文件不要丢失了。 3第三种...
pycharm中打开scrapy项目，import scrapy报错问题
tangtang1226的博客
04-13 5957
    因为手头的Python项目有2.7，有3.6的，所以用scrapy时，我想根据python3.6单独做一个虚拟的环境，因此就使用了如下指令：virturalenv  scrapyPython3.6  (g:\scrapyPython3.6)之后创建了我的scrapy项目    g:\scrapyDemo但是安装scrapy时，我是在全局安装，也就是会默认的安装在Python36的安装路径下...
python run之后出现＞＞＞ runfile(‘F:xxx.py‘, wdir=‘F:xxx‘) 快速干掉它的办法
宝藏女孩的成长日记
08-02 2万+
运行结果 F:\Z\Python\install\Anaconda\envs\admin\python.exe "F:\Z\Python\install\pycharm\installPYcharm\PyCharm 2020.1\plugins\python\helpers\pydev\pydevconsole.py" --mode=client --port=58318 PyDev console: starting. >>> runfile('F:/Z/Python/project/p
随手笔记：import scrapy 出现的“AttributeError: module ‘OpenSSL.SSL‘ has no attribute ‘TLS_METHOD‘”
Vampire_LHT的博客
10-13 6729
import scrapy 出现的“AttributeError: module 'OpenSSL.SSL' has no attribute 'TLS_METHOD'”
KeyError: Spider not found 5种出错的情况
李玺
08-28 1万+
KeyError: 'Spider not found:name一样，为何还是找不到spider 呢。 往下看看，总有一个是你要的答案。 第一种（最简单的错误）： 运行的爬虫名字与爬虫文件中的name不相同 解决方案：令两者名字相同即可。当然90%的人不会是这个原因。 第二种：丢失init 解决方案：注意创建爬虫文件时的__init__文件不要丢失了。 第三种： 没有把爬虫文件放入s...
scrapy报错ModuleNotFoundError: No module named xx
10-04
scrapy报错"No module named xx"通常是由于缺少相应的模块导致的。在你的情况下，报错"No module named 'pymongo'"说明你的环境中缺少了pymongo模块。 有几个可能的原因导致这个问题： 1. 模块没有正确安装：请确保...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wshzd

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值