cmd运行spider all卡在“result_worker starting...”的一个解决方案

33 篇文章 0 订阅
4 篇文章 0 订阅

在确定各种包安装无误的情况下,cmd运行spider all 或者 spider 卡在result_worker starting...
在这里插入图片描述
如上图所示,卡在这里不动。

找了各种方法,都无果,最后我尝试性的又运行了一个spider all,奇迹般的出现了
在这里插入图片描述
如我的红色箭头所示,出现这个意味着成功了,于是我赶紧关掉了另一个cmd,发现该cmd继续运行下去,最后出现了 webui running on 0.0.0.0:5000
打开 localhost:5000 也成功了。

我的环境是python3.8。
经过我的几次尝试,发现只要运行两个spider all的时间差够短,成功的几率就会增大。
于是我尝试着写了一个bat脚本,一次性运行三个cmd命令,测试了下,基本上每次都能运行成功。

1. start cmd /c pyspider all
2. start cmd /c pyspider all
3. start cmd /c pyspider all

把上面的代码复制进一个txt文件,修改后缀名为bat,运行即可,会发现一次性运行了三个pyspider,在看到有一个cmd程序出现了[I 200905 13:42:11 scheduler:586] in 5m: new:0,success:0,retry:0,failed:0后,就赶紧关掉其余两个即可成功。

如果三个都没出现[I 200905 13:42:11 scheduler:586] in 5m: new:0,success:0,retry:0,failed:0

那就都关闭重新尝试,一定会成功的。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

LI4836

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值