在确定各种包安装无误的情况下,cmd
运行spider all
或者 spider
卡在result_worker starting...
如上图所示,卡在这里不动。
找了各种方法,都无果,最后我尝试性的又运行了一个spider all,奇迹般的出现了
如我的红色箭头所示,出现这个意味着成功了,于是我赶紧关掉了另一个cmd
,发现该cmd
继续运行下去,最后出现了 webui running on 0.0.0.0:5000
打开 localhost:5000 也成功了。
我的环境是python3.8。
经过我的几次尝试,发现只要运行两个spider all的时间差够短,成功的几率就会增大。
于是我尝试着写了一个bat脚本,一次性运行三个cmd命令,测试了下,基本上每次都能运行成功。
1. start cmd /c pyspider all
2. start cmd /c pyspider all
3. start cmd /c pyspider all
把上面的代码复制进一个txt文件,修改后缀名为bat,运行即可,会发现一次性运行了三个pyspider
,在看到有一个cmd程序出现了[I 200905 13:42:11 scheduler:586] in 5m: new:0,success:0,retry:0,failed:0
后,就赶紧关掉其余两个即可成功。
如果三个都没出现[I 200905 13:42:11 scheduler:586] in 5m: new:0,success:0,retry:0,failed:0
那就都关闭重新尝试,一定会成功的。