【Python】pyspider 一直卡在 result worker starting 的解决办法

pyspider 启动所遇到的坑

环境:

  • python 3.7.4
  • pip 21.2.4

1. 启动 async 关键字报错的问题

参考链接:https://www.cnblogs.com/Mayfly-nymph/p/10808088.html
原因: python 3.7 中 async 成为了保留关键字
解决:替换 pyspider 包下的其中几个 py 文件中 async 替换为新变量名如:async_mode
推荐:如果使用 vscode 打开文件夹可以通过侧边 🔍全局搜索 async 关键字,类似超级搜索

2. pyspider 一直卡在 result worker starting 的解决办法

参考链接:https://blog.csdn.net/qq_40765537/article/details/105457499
原因:至今不明,按照以上方式进行处理,仍然报错,直到这位大佬的处理方法
解决方式:在卡死的过程中新启一个进程,成功启动!!!

3. 对 2 问题的总结

  1. 可能是因为 python 版本的问题,3.7.4 以及所以来的包的版本问题,导致启动卡死 https://ask.csdn.net/questions/773842
  2. 关闭防火墙应该是为了让 phantomjs 应用能够访问网络,可以通过设置应用可以通过防火墙而避免关闭防火墙(因为启动不了 pyspider 在关闭防火墙的情况下起不了多大效果)
    在这里插入图片描述
  3. 如果按照 https://blog.csdn.net/qq_40765537/article/details/105457499 中多个启动老是很麻烦可以,使用以下脚本进行启动 (win 下文件后缀名为 bat,保存后双击运行即可),如果其中一个启动成功,关闭其他cmd窗口即可
    start cmd /c pyspider
    start cmd /c pyspider
    start cmd /c pyspider
    
    切记:不要将bat文件命名为 pyspider !!!!!!!!!!!!!!! 否则将会循环开启新窗口,导致系统资源耗尽
    运行以上脚本后,某个窗口中出现 web ui start on 5000 即可访问 pyspider 的后台页面:localhost:5000
    在这里插入图片描述
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: 如果您的 PySpider 一直在 "result_worker starting...",可能是因为 result_worker 进程无法正常启动。 以下是一些可能的解决方法: 1. 检查日志:可以检查 PySpider 的日志,查看是否有任何错误或警告信息。日志文件通常位于 `logs/` 目录下。 2. 检查端口:确保您使用的端口没有被占用。您可以尝试使用其他端口启动 PySpider,例如: ``` pyspider all --webui-port=8081 --scheduler-port=23333 --result-port=25555 ``` 3. 升级 PySpider:尝试升级到最新版本的 PySpider,可能会修复已知的问题。 4. 重启机器:有时候重启机器可以解决一些问题,尝试重启机器并再次启动 PySpider。 5. 检查依赖项:确保您的系统中已安装了 PySpider 所需的所有依赖项。您可以尝试重新安装依赖项或使用虚拟环境来隔离依赖项。 如果以上方法均未能解决问题,您可以尝试在 PySpider 的 GitHub 仓库上提交一个 issue,以获取更多的帮助。 ### 回答2: pyspider 是一种基于 Python 的开源网络爬虫框架,用于快速、高效地进行网络数据采集和处理。在使用 pyspider 进行爬虫任务时,可能会遇到一直在 "result_worker starting..." 的问题。 "result_worker starting..." 是指 pyspider 的结果处理模块在启动过程中出现了问题,导致无法正常运行。这个问题可能有多种原因,下面我将介绍几个可能的解决方法: 1. 检查配置文件:首先确保你的配置文件中没有错误,特别是数据库和消息队列的连接设置是否正确。可以参考 pyspider 的官方文档来配置正确的参数。 2. 检查网络连接:确保你的网络连接是正常的,可以尝试访问相关的数据库和消息队列服务,确保它们都可以正常访问和连接。 3. 检查依赖库:如果你的系统中安装了多个版本的 Python 或依赖库,可能会导致冲突或不兼容的问题。可以尝试重新安装或更新相关的依赖库来解决冲突问题。 4. 启用日志调试:在启动 pyspider 时,可以使用 `-q` 参数来启用详细的日志输出,这样可以更好地了解问题的具体原因。可以通过查看日志来获取更多的调试信息,以便进行问题排查。 5. 参考社区和文档:pyspider 有一个活跃的社区,你可以在社区中提问和寻求帮助。此外,可以查阅 pyspider 的官方文档和相关教程,寻找更多的解决方案和建议。 希望以上几点能够帮助你解决 pyspider 在 "result_worker starting..." 的问题,并能够顺利运行你的爬虫任务。如果问题仍然存在,建议你提供更多的细节信息,以便更好地帮助你解决问题。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值