yield self.engine.open_spider(self.spider, start_requests) builtins.TypeError: name must be an insta...

于 2023-01-12 14:23:30 发布
阅读量227 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_35756130/article/details/129594874
版权

这个错误消息表明在yield语句中, self.engine.open_spider(self.spider, start_requests)中的self.spider变量必须是一个字符串类型的实例, 而不是其他类型。

八位数花园
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
爬虫时报错 yield self.engine.open_spider(self.spider, start_requests)pika.exceptions.AMQPConnectionError
weixin_43751415的博客
08-15 1005
一般报错多在配置文件的，解决起来很复杂，优先考虑代码是否有问题。然后，telnet 报错信息提到的端口，试过之后端口打不开，可能四官网有限制，所以我在pipelines.py文件里注释掉报错信息提到的connection属性的相关代码。然后发现，代码在用到selenium的wait_time时class必须填写页面存在的，所以返回要爬取的页面检查，换了已存在的class。一开始我以为是pika版本问题，所以从1.3系列降到1.1系列，但还是一样的报错。爬虫可以正常运行了，接下来就是完善和修改具体的需求。
scrapy+mongoDB小问题
samll__Q的备忘录
04-22 781
遇到错误 Traceback (most recent call last): File "e:\python\lib\site-packages\twisted\internet\defer.py", line 1386, in _inlineCallbacks result = g.send(result) File "e:\python\lib\site-package...
Scrapy阅读源码分析<四>
小岁月太着急
07-06 3470
运行入口 还是回到最初的入口，在Scrapy源码分析（二）运行入口这篇文章中已经讲解到，在执行scrapy命令时，调用流程如下： 调用cmdline.py的execute方法调用命令实例解析命令行构建CrawlerProcess实例，调用crawl和start方法 而crawl方法最终是调用了Cralwer实例的crawl，这个方法最终把控制权交由Engine，而start方法注
python出现严重错误_严重错误：ImportError:DLL加载失败
weixin_42119989的博客
01-29 872
我一直在运行我的垃圾代码，直到我得到一个错误，我没有找到我的模块调用“垃圾爬网文件”。我不记得改变了什么重要的东西，这个错误是无中生有的。在我重新安装了scrapy，现在有一个新错误：2019-05-27 17:39:19 [scrapy.core.engine] INFO: Spider openedUnhandled error in Deferred:2019-05-27 17:39:19 ...
scrapy大致流程
m0_45396125的博客
10-02 355
1.items文件执行 2.主文件执行初始化(start_urls,allowed_domains) 3.middlewares文件执行初始化,初始化包括先执行from_crawler 函数再执行init函数 4.pipelines文件执行初始化 5.Pipelines 执行open_spider函数 6.middlewares文件执行spider_opened函数 7.middlewares文件的DownloaderMiddleware类按优先数从低到高逐步执行process_request函
C#中Task.Yield的用途深入讲解
08-26
C#中Task.Yield的用途深入讲解 Task.Yield是C#中的一个重要概念，它可以帮助开发者更好地管理线程资源，提高程序的性能和可维护性。本文将深入讲解Task.Yield的用途，通过示例代码和详细的解释，帮助读者更好地理解...
python3_r34.zip
05-22
5. **生成器**：通过使用 `yield` 关键字创建的函数被称为生成器，它们可以生成一个序列，而不是一次性生成所有元素，节省了内存。 6. **异步编程**：Python 3 引入了 `asyncio` 库，支持协程（coroutines）和异步...
NXP i.MX RT1052 RT-Thread实战：线程管理
12-01
`rt_thread_set_priority`函数可以更改线程的优先级，`rt_thread_yield`函数则允许当前线程主动放弃CPU使用权。 ```c rt_thread_set_priority(tid, NEW_PRIORITY); rt_thread_yield(); ``` ### NXP i.MX RT1052...
ILSpy_3.1.0.3652 + Reflexil2.2
06-07
　C#语句可被反编译出来，并可支持yield return语句和 lambdas表达式的反编译。并且支持C# 5.0 中的"async" 软件预览 ilspy反编译工具 更新日志 　×基于官方最新版源码编译 　×所有提示和界面信息均为中文 　×IL...
.NETCore3.0正式公布：新特性详细解读
01-27
- F# 4.7放宽了语法限制，引入了隐式yield表达式，降低了某些操作的复杂性。 - 添加了对LangVersion的支持，允许使用nameof和预览静态类。 - F# Core库现在与.NET Standard 2.0兼容，增加了跨平台的可用性。 4. ...
2021-01-29
ghostvalleyqq的专栏
01-29 768
NameError: Module 'scrapy_redis.dupefilter' doesn't define any object named 'RFPDuperFilter' 运行RedisCrawlSpider时报错如下： (crawlvenv) [hdfs@miaoshou1x spiders]$ scrapy runspider zce_spider1.py 2021-01-29 15:30:38 [scrapy.utils.log] INFO: Scrapy 2.4.1 starte.
python爬虫设计模式_爬虫设计模式-twisted
weixin_39842271的博客
12-04 125
#!/usr/bin/env python#-*- coding:utf-8 -*-from twisted.web.client importgetPage, deferfrom twisted.internet importreactorimportqueueclassResponse(object):def __init__(self, body, request):self.body=bo...
Python自动化开发学习-TinyScrapy
weixin_34397291的博客
01-12 138
这里通过代码一步一步的演变，最后完成的是一个精简的Scrapy。在Scrapy内部，基本的流程就是这么实现的。主要是为了能通过学习了解Scrapy大致的流程，对之后再要去看Scrapy的源码也是有帮助的。 Twisted使用 因为Scrapy是基于Twisted实现的，所以先看Twisted怎么用 基本使用 基本使用的示例： from twisted.web.client import getPa...
Scrapy阅读源码分析<三>
小岁月太着急
07-05 1475
核心组件初始化核心组件交互流程 这次先来讲解这些核心组件初始化都做了哪些工作。 爬虫类 接着上次代码讲，上次的运行入口执行到最后是执行了Crawler的crawl方法： 1234567891011121314151617181920212223 @defer.inlineCallbacksdef crawl(self, *args, **kwargs)
Scrapy No module named _sqlite3 错误
tony的专栏
09-27 6381
Scrapy No module named _sqlite3 错误
scrapy重新爬取数据报错：ValueError: port should be of type int
xiaoxiamimm的博客
11-02 8852
scrapy重新爬取数据 又报错，心累 C:\Users\Administrator\PycharmProjects\pythonProject\scrapy框架\qiubaiPro>scrapy crawl qiubai 开始爬虫。。。。。。 结束爬虫！ 2020-11-02 11:24:18 [scrapy.core.engine] ERROR: Scraper close failure Traceback (most recent call last): File "d:\program
Scrapy 源码分析5 spider执行过程详解
u010154424的博客
03-25 1243
前言 运行scrapy的spider命令是 scrapy crawl *** 或者 scrapy runspider ***.py 背后处理逻辑基本一致,都是调用CrawlerProcess就行数据采集。 下图是运行逻辑 下图是核心处理方法 ExecutionEngine.open_spider 下面是对上图过程的具体说明 1、运行spider执行命令 scrapy crawl **** 或者 scrapy runspider ***.py 2、创建CrawlerProcess cmd.crawl
scrapy源码分析（四）-------spider篇------网页爬取流程分析（一）
happyAnger6的专栏
12-01 8661
本篇教程中主要介绍爬虫类spider如何分析下载到的页面，并从中解析出链接继续进行跟踪的框架。 源码分析（一）中流程图中讲到Crawler在创建执行引擎ExecutionEngin后，会从spider中获取初始请求列表，代码如下： scrapy/cralwer.py: @defer.inlineCallbacks def crawl(self, *args, **kwargs
Scrapy crawler.py 代码详细解析
三头六臂的小白
01-12 1493
这里先简单讲一下 scrapy 底层 twisted中的reactor ，他相当于asyncio中loop，deferred相当于 future, crawler 相当于实际执行爬取的类，并管理了自身的启停，接受控制信号和setting配置等。 其中Crawler实例 相当于一个实例化的spider CrawlerRunner 是对crawler的调度，其需要你自己的项目中使用twised框架才有必要了解操作这个类 CrawlerProcess 相当于封装了twisted需要的reactor以后的.
yield self.engine.open_spider(self.spider, start_requests) builtins.TypeError: name must be an instance of str
最新发布
08-13
### 回答1： 这个错误消息表明在yield语句中, self.engine.open_spider(self.spider, start_requests)中的self.spider变量必须是一个字符串类型的实例, 而不是其他类型。 ### 回答2： 这个错误是由于在使用Scrapy的open_spider方法时，传递给它的第一个参数必须是一个字符串类型的实例，而不是其他类型的数据。 在Scrapy中，open_spider方法用于在开始爬取某个具体spider之前进行一些特定的操作。它接受两个参数，第一个是当前的spider实例，第二个是start_requests函数的返回值。 根据错误提示，可以确定错误是由于第一个参数类型不正确导致的。可能是在调用open_spider方法时，传给它的第一个参数不是一个字符串类型的实例。 要解决这个问题，我们需要确保传递给open_spider方法的第一个参数是一个字符串类型的实例。可以通过检查传递给open_spider方法的参数是否满足这个条件来调试错误。 具体来说，可以在报错的代码行之前或之后，添加一个语句来输出传递给open_spider方法的第一个参数的类型。例如，可以添加以下语句来输出参数类型： print(type(self.spider)) 然后观察输出结果，确定参数类型是否正确。如果类型不正确，可以检查spider变量的定义和赋值过程，确保它是一个字符串类型的实例。 总结：yield self.engine.open_spider(self.spider, start_requests) builtins.TypeError: name must be an instance of str这个错误是由于传递给open_spider方法的第一个参数不是一个字符串类型的实例。要解决这个问题，需要确保传递给open_spider方法的第一个参数是一个字符串类型的实例。可以通过检查传递给open_spider方法的参数是否满足这个条件来调试错误，并确保它是一个字符串类型的实例。 ### 回答3： 这个错误是由于在yield语句中的self.engine.open_spider方法的第一个参数必须是字符串类型，但当前参数的类型不符合要求引起的。这个错误的产生可能是由于在调用这个方法时传入的第一个参数的类型不正确，或者在方法的定义中参数类型的限制有误。 要解决这个错误，首先需要检查调用self.engine.open_spider方法的地方，确保传入的第一个参数是一个字符串。可以通过使用type()函数来检查参数的类型，或者查看相关代码中是否存在对该参数的赋值操作。 如果传入的参数确实不是一个字符串，可以将其转换为字符串类型后再进行调用。可以使用str()函数将其转换为字符串形式，重新调用该方法。 另外，如果这个错误是由于方法的定义中对参数类型的限制有误导致的，需要修改方法的定义，确保对应参数的类型限制与实际需求相符。 总之，这个错误的解决办法是要确保在调用yield语句中的self.engine.open_spider方法时，其第一个参数必须是一个字符串类型的实例。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值