pip3 install pyspider 不成功,原来是Python版本async关键字的原因,25555端口占用处理

1. 安装不成功原因

步骤:
#安装pyspider
pip3 install pyspider
#运行pyspider
pyspider all
#结果显示(Mac类似,此图为网上找的)
在这里插入图片描述
()
安装不成功原因:Python3.7版本和pyspider有关键字(async)冲突
解决方法:
1.修改pyspider包中的关键字async 为async1(只要不与Python关键字冲突的任意字符串即可)
2.将Python降版本
推荐方法1

2. 解决方法

此处采用第一种方法
步骤:
(1)找到安装的pyspider库文件夹(从报错的信息里可以看到路径,如上图)
(2)将pyspider文件夹下(及子孙及文件夹)的所有.py文件逐一打开
使用command+f 的方式查找async,替换为async1
(3)全部替换成功后再次在终端中运行
pyspider all
如果结果为如下,则安装成功
[I 190522 13:27:01 result_worker:49] result_worker starting…
[I 190522 13:27:01 processor:211] processor starting…
[I 190522 13:27:02 tornado_fetcher:638] fetcher starting…
[I 190522 13:27:02 scheduler:647] scheduler starting…
[I 190522 13:27:02 scheduler:782] scheduler.xmlrpc listening on 127.0.0.1:23333
[I 190522 13:27:02 app:76] webui running on 0.0.0.0:5000
如果结果为如下,则说明25555端口被占用
Error: Could not create web server listening on port 25555

解决方法:查找到端口被谁占用,关掉它

3.端口占用解决方法

步骤:
(1)查找(在终端命令行中运行如下代码)
lsof -i tcp:port 将port换成查找的端口,如:25555

(2)显示结果如下(从中可以看出phantomjs占用了端口)
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
phantomjs 26684 raojun 11u IPv4 0xfaec374b94aca6c7 0t0 TCP *:25555 (LISTEN)

(3)关掉进程(PID识别进程,看你的电脑上的PID,此处为26684)
kill 26684

最后再次在终端运行
pyspider all

结果显示(一切都解决了,安装成功):
[I 190522 13:27:01 result_worker:49] result_worker starting…
[I 190522 13:27:01 processor:211] processor starting…
[I 190522 13:27:02 tornado_fetcher:638] fetcher starting…
[I 190522 13:27:02 scheduler:647] scheduler starting…
[I 190522 13:27:02 scheduler:782] scheduler.xmlrpc listening on 127.0.0.1:23333
[I 190522 13:27:02 app:76] webui running on 0.0.0.0:5000
[I 190522 13:27:02 scheduler:586] in 5m: new:0,success:0,retry:0,failed:0
[I 190522 13:28:02 scheduler:586] in 5m: new:0,success:0,retry:0,failed:0
[I 190522 13:29:02 scheduler:586] in 5m: new:0,success:0,retry:0,failed:0
[I 190522 13:30:02 scheduler:586] in 5m: new:0,success:0,retry:0,failed:0

  • 3
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值