Python-Scrapy框架Debug模式错误记录

最新推荐文章于 2024-05-30 09:51:03 发布
最新推荐文章于 2024-05-30 09:51:03 发布
阅读量534 收藏
点赞数 4
文章标签： python scrapy 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JustZzer/article/details/137921621
版权
文章讲述了在Scrapy爬虫项目中遇到的断点调试问题，尽管无法在Python3.8.19的环境中正常debug，但可以运行。解决方法包括在调度器接收yieldRequest前添加断点并手动注入案例，以及考虑升级到支持的PyCharm版本。
摘要由CSDN通过智能技术生成

scrapy 框架里断点无法使用 debug 但是可以 run 的情况;

情景条件

- 爬虫 scrapy 项目代码无法正常 debug 调试, 但是可以正常运行
- Python 3.8.19 \ scrapy 2.11.1 \ twisted 23.04.0

问题点

[asyncio] ERROR: Exception in callback <Task pending name='Task-1' coro=<SpiderMiddlewareManager.scrape_response.<locals>.process_callback_output() running at C:\Users\<MyComputerName>\.conda\envs\dcg-spider-data\lib\site-packages\scrapy\core\spidermw.py:295> cb=[Deferred.fromFuture.<locals>.adapt() at C:\Users\<MyComputerName>\.conda\envs\dcg-spider-data\lib\site-packages\twisted\internet\defer.py:1063]>()
handle: <Handle <Task pending name='Task-1' coro=<SpiderMiddlewareManager.scrape_response.<locals>.process_callback_output() running at C:\Users\<MyComputerName>\.conda\envs\dcg-spider-data\lib\site-packages\scrapy\core\spidermw.py:295> cb=[Deferred.fromFuture.<locals>.adapt() at C:\Users\<MyComputerName>\.conda\envs\dcg-spider-data\lib\site-packages\twisted\internet\defer.py:1063]>()>
Traceback (most recent call last):
  File "C:\Users\<MyComputerName>\.conda\envs\dcg-spider-data\lib\asyncio\events.py", line 81, in _run
    self._context.run(self._callback, *self._args)
TypeError: 'Task' object is not callable

解决方案

1. 在 scrapy 调度器接收 yield Request 请求前进行断点, 并在 console 控制台手动注入任意案件获取当前的异步事件
2. 更换 idea 执行器 Pycharm 版本
Zzers
关注
  • 4
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
Python中Scrapy框架
既然选择远方，便只顾风雨兼程！
04-15 4205
文章目录Scrapy 框架一、 简介1、 介绍2、 环境配置3、 常用命令4、 运行原理4.1 流程图4.2 部件简介4.3 运行流程二、 创建项目1、 修改配置2、 创建一个项目3、 定义数据4、 编写并提取数据5、 存储数据6、 运行文件三、 日志打印1、 日志信息2、 logging 模块四、 全站爬取1、 使用request排序入队2、 继承crawlspider五、 二进制文件1、 图片下载六、 middlewares1、下载中间件2、 爬虫中间件七、 模拟登录1、 cookie2、 直接登录八、
Python爬虫-Scrapy框架
zdc45625的博客
04-20 392
文章目录抓取手机app的数据Scrapy框架安装常用命令目录结构pycharm中运行爬虫自定义去重规则 抓取手机app的数据 爬虫是CS中c端，原理是模拟浏览器向服务器发送请求，如果要爬手机APP的数据原理相同，APP也是客户端与浏览器性质相同。我们只要能获取到手机APP给服务器发送的数据，并加以分析就能模拟它的请求从而获取到数据 # 实现思路 在app和服务器之间设置一个代理服务器 1. ap...
Python程序Run可以正常运行Debug运行报错(已解决)
Java/Python大数据成长之路
07-30 2824
2）打开PyCharm(打开项目)，继续执行清除缓存：File->Invalidate Caches / Restart->Invalidate and Restart，并重启PyCharm。3） 清除缓存：File->Invalidate Caches / Restart->Invalidate and Restart，并重启PyCharm，未解决…这是一个坑，这样可以不让程序报错，原因是这个函数就不执行了，当然不报错了！写法1：df = df. drop_duplicates(‘name’)：未解决…
Scrapy的debug方式
weixin_33749131的博客
06-03 285
Scrapy不方便调试，但是为了深入学习框架内部的一些原理，有时候仅仅依靠日志是不够的。下面提供一种scrapy的debug方式 demo直接用来自官方例子来演示：https://github.com/scrapy/quotesbot   在运行 scrapy 库时，其实是相当于运行一个 python 脚本： #!/usr/bin/python from scrapy.cmdline impo...
pycharm 调试异步的代码报错 TypeError: ‘Task‘ object is not callable ERROR: Exception in callback ＜Task
最新发布
weixin_50173184的博客
05-30 339
pycharm debugger TypeError: 'Task' object is not callable ERROR: Exception in callback 链接: https://youtrack.jetbrains.com/issue/PY-62467/TypeError-Task-object-is-not-callable-debugging-uvloop-with-asyncio-support-enabled
scrapy debug
zlc1990628的博客
03-22 208
1、在scrapy项目下新建main.py文件，与scrapy.cfg平级。在spiders文件夹下新建run.py，内容如下。在pycharm中，直接debug该文件就可以了。scrapy crawl xx.py(爬虫文件名)2、python文件运行。
Scrapy之Debug
Lovehanxiaoyan的博客
03-09 323
爬虫：Scrapy15 - 调试（Debugging）Spiders
weixin_30505225的博客
09-19 125
考虑下面的 spider： import scrapy from myproject.items import MyItem class MySpider(scrapy.Spider): name = 'myspider' start_urls = ( 'http://example.com/page1', 'http://ex...
scrapy怎么debug断点调试
huangwencai123的博客
05-06 6772
scrapy怎么debug断点调试 1、 在项目的文件夹下增加一个文件main.py（scrapy.cfg同等级中） main.py文件 from scrapy.cmdline import execute import os import sys if __name__ == '__main__': sys.path.append(os.path.dirname(os.path.abs...
Python爬虫框架Scrapy常用命令总结
09-20
Scrapy是Python编程语言中的一个强大爬虫框架，它提供了丰富的命令行工具，方便开发者进行爬虫项目的管理和调试。在Scrapy中，命令分为全局命令和项目命令。 **全局命令** 不依赖于任何Scrapy项目，可以直接在...
爬虫--06：scrapy框架
Rhymeplot__JDQS的博客
05-05 819
Crawler-06: Scrapy Framework scrapy框架基础一、scrapy框架的介绍二、scrapy框架的工作流程 scrapy框架基础 一、scrapy框架的介绍 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取 Scrapy使用了Twisted异步网络框架，可以加快我们的下载速度 异步：调用在发出之后，这个调用就直接返回，不管有无结果 非阻塞：关注的是程序在等待调用结果时的状态，指在不能立刻得到结果之前，该调用不会阻塞当
Python爬虫、数据清洗与可视化-4 - scrapy
m0_56267896的博客
03-18 799
1-1创建工程 scrapy startproject projectName 1-2进入工程目录：这里一定要进入到刚才创建好的目录中 cd projectName 1-3创建爬虫文件：创建的爬虫文件会出现在之前创建好的spiders文件夹下 scrapy genspider spiderName www.xxx.com 1-4执行爬虫文件 scrapy crawl spiderName 1-5保存数据： scrapy crawl *** -o xx.json #输出json格式文件 scrapy
Scrapy基础——Debug和test
weixin_34313182的博客
06-10 196
写代码的最常做的事情就是debug和test，那么如何在Scrapy中检查爬虫能否正常运行，保证在大规模作业时不会遇到奇奇怪怪的问题呢？这里主要根据实例说些debug的方法。 Debug三部曲 Parse parse命令主要用于从method级别去检查爬虫不同部分的行为。它有以下几个可选项： --spid...
pycharm下打开、执行并调试scrapy爬虫程序
热门推荐
和而不流
05-14 4万+
首先得有一个Scrapy项目，我在Desktop上新建一个Scrapy的项目叫test，在Desktop目录打开命令行，键入命令：scrapy startproject test1    目录结构如下：        打开Pycharm，选择open    选择项目，ok  打开如下界面之
scrapy中如何debug
kingUROOT的博客
12-13 584
1.在项目启动目录下建立一个py文件 # -*- coding: utf-8 -*- import sys import os # __file__ :当前文件夹 # os.path.abspath: 文件的绝对路径 # os.path.dirname: 文件的上一级 # sys.path.append 插入到环境变量 from ...
Scrapy 爬虫开启debug调试
前方的路在刚开始
09-15 999
由来，我以前执行scrapy都是通过命令行执行的，比如: 在爬虫目录中 输入 scrapy crawl 爬虫名称 命令 但是，我现在想调试，那无法打断点 解决方法： 将命令行执行【改】到程序中执行命令行 首先导入包： from scrapy.cmdline import execute 执行命令 放到程序的末尾 注意:此行代码与class类名平级 execute(['scrapy', 'crawl', '爬虫名']) 打完断点即可，在项目中debug运行了。 ...
Scrapy debug方法
成功唯有积累，没有奇迹。
12-05 880
scrapy 配置debug模式
Darkman_EX的博客
06-07 5499
第一步：创建manage.py(名字可以随便，注意后面要使用到改名字)： 第二步：在manage.py文件中写入以下代码： #!/usr/bin/python from scrapy.cmdline import execute execute('scrapy crawl dailiSpider'.split()) 第三步：点击栏目run中的debug，配置信息： Scrip...
十四、认识scrapy的debug信息
Norni的博客
05-22 159
当LOG_LEVEL="DEBUG"等级时，运行爬虫会出现一些信息
python爬取百度搜索_Python-Scrapy抓取百度数据并分析
05-19
这里是一个简单的Python-Scrapy爬取百度搜索结果并对搜索结果进行分析的例子： 首先，我们需要安装Scrapy和lxml库。在命令行中输入以下命令： ``` pip install scrapy pip install lxml ``` 然后，我们可以创建一个名为baidu_spider的新项目，并在项目中创建一个名为baidu的新爬虫。在命令行中输入以下命令： ``` scrapy startproject baidu_spider cd baidu_spider scrapy genspider baidu www.baidu.com ``` 现在，我们在baidu_spider/spiders/baidu.py文件中编写我们的代码。我们将使用Scrapy的Selector来选择我们想要的数据。代码如下： ```python import scrapy class BaiduSpider(scrapy.Spider): name = "baidu" allowed_domains = ["www.baidu.com"] start_urls = ["http://www.baidu.com/s?wd=python"] def parse(self, response): # 获取搜索结果 results = response.xpath('//div[@class="result c-container "]') for result in results: # 获取标题和链接 title = result.xpath('.//h3/a/text()').extract_first().strip() link = result.xpath('.//h3/a/@href').extract_first() # 获取摘要 abstract = result.xpath('.//div[@class="c-abstract"]//text()').extract() abstract = "".join(abstract).strip() # 打印结果 print(title) print(link) print(abstract) ``` 在这个例子中，我们首先定义了我们的爬虫的名称，允许的域名和起始URL。然后我们定义了一个parse函数来处理响应。在parse函数中，我们使用XPath选择器来选择搜索结果。我们使用extract_first()和extract()方法来提取标题、链接和摘要。最后，我们打印了结果。 现在，我们可以在baidu_spider目录中运行以下命令来运行我们的爬虫： ``` scrapy crawl baidu ``` 这将启动我们的爬虫并开始爬取百度搜索结果。在控制台中，您应该能够看到我们的爬虫正在输出搜索结果。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值