启动pyspider报错ImportError: cannot import name 'Curlasync_HTTPClient' from 'tornado.curl_httpclient

1.首先是 invalid syntax关键字(async替换为async_)错误,按照网络方法解决后才会出现此错误。

以下为错误分析,如想直接获得解决方案,请下滑至尾部。

cannot import name 'CurlasyncHTTPClient' from 'tornado.curl_httpclient'

如果你遇到的是这个错误或者

cannot import name 'CurlsharkHTTPClient' from 'tornado.curl_httpclient'

那么请跟我来看怎么解决你的问题所在。

首先启动时报错如下:

SyntaxError: invalid syntax

之后按照正确的做法开始去网上找解决方案,如下:

报错原因:python3.7不兼容pyspider问题(出现占用关键字的问题)

解决办法是将这个关键字替换掉。

主要改动三个文件:

1、\Python\Lib\site-packages\pyspider\run.py

2、\Python\Lib\site-packages\pyspider\fetcher\tornado_fetcher.py

3、\Lib\site-packages\pyspider\webui\app.py

CTRL+F查找 async 替换掉。(可替换为async_)

恭喜你看到这如果问题得以解决请出门左拐,如果报了本题目的错误请继续

在替换是要注意:只替换名为async 的变量或参数名。不要图省事选择“全部替换”

例文件tornado_fetcher.py中如果全部替换是17处,便会报错

from tornado.curl_httpclient import CurlAsyncHTTPClient
from tornado.simple_httpclient import SimpleAsyncHTTPClient
将其中几处引用类改回来,如果已经全部替换完,请回去手动修改
在这里插入图片描述
替换保存后再次运行“pyspider all”调试。

成功图如下:访问localhost:5000即可进入ui
在这里插入图片描述

  • 2
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: 如果您的 PySpider 一直卡在 "result_worker starting...",可能是因为 result_worker 进程无法正常启动。 以下是一些可能的解决方法: 1. 检查日志:可以检查 PySpider 的日志,查看是否有任何错误或警告信息。日志文件通常位于 `logs/` 目录下。 2. 检查端口:确保您使用的端口没有被占用。您可以尝试使用其他端口启动 PySpider,例如: ``` pyspider all --webui-port=8081 --scheduler-port=23333 --result-port=25555 ``` 3. 升级 PySpider:尝试升级到最新版本的 PySpider,可能会修复已知的问题。 4. 重启机器:有时候重启机器可以解决一些问题,尝试重启机器并再次启动 PySpider。 5. 检查依赖项:确保您的系统中已安装了 PySpider 所需的所有依赖项。您可以尝试重新安装依赖项或使用虚拟环境来隔离依赖项。 如果以上方法均未能解决问题,您可以尝试在 PySpider 的 GitHub 仓库上提交一个 issue,以获取更多的帮助。 ### 回答2: pyspider 是一种基于 Python 的开源网络爬虫框架,用于快速、高效地进行网络数据采集和处理。在使用 pyspider 进行爬虫任务时,可能会遇到一直卡在 "result_worker starting..." 的问题。 "result_worker starting..." 是指 pyspider 的结果处理模块在启动过程中出现了问题,导致无法正常运行。这个问题可能有多种原因,下面我将介绍几个可能的解决方法: 1. 检查配置文件:首先确保你的配置文件中没有错误,特别是数据库和消息队列的连接设置是否正确。可以参考 pyspider 的官方文档来配置正确的参数。 2. 检查网络连接:确保你的网络连接是正常的,可以尝试访问相关的数据库和消息队列服务,确保它们都可以正常访问和连接。 3. 检查依赖库:如果你的系统中安装了多个版本的 Python 或依赖库,可能会导致冲突或不兼容的问题。可以尝试重新安装或更新相关的依赖库来解决冲突问题。 4. 启用日志调试:在启动 pyspider 时,可以使用 `-q` 参数来启用详细的日志输出,这样可以更好地了解问题的具体原因。可以通过查看日志来获取更多的调试信息,以便进行问题排查。 5. 参考社区和文档:pyspider 有一个活跃的社区,你可以在社区中提问和寻求帮助。此外,可以查阅 pyspider 的官方文档和相关教程,寻找更多的解决方案和建议。 希望以上几点能够帮助你解决 pyspider 卡在 "result_worker starting..." 的问题,并能够顺利运行你的爬虫任务。如果问题仍然存在,建议你提供更多的细节信息,以便更好地帮助你解决问题。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值