CentOs7安装pyspider

参考资料

pyspider官网

CentOs7下安装pyspider

# 1. 安装前需要检查curl版本,用最新版7.64.1,否则可能安装失败(参考curl的安装)。
curl -V 

# 安装了curl后要覆盖以下文件,否则报错:ImportError: pycurl: libcurl link-time version (7.19.7) is older than compile-time version (7.54.1)
cp /usr/local/lib/libcurl.so /usr/lib64/
cp /usr/local/lib/libcurl.so.4 /usr/lib64/
cp /usr/local/lib/libcurl.so.4.5.0 /usr/lib64/

# 升级pip 并安装pyspider
pip install --upgrade pip
pip install pyspider

# 3. run command pyspider, visit http://localhost:5000/
pyspider

# 4. 如果执行错误,出现提示Deprecated option 'domaincontroller': use 
'http_authenticator.domain_controller' instead.
需要在安装包中找到pyspider的资源包,然后找到webui文件里面的webdav.py文件打开,
修改第209行即可。

# 把/usr/local/python3/lib/python3.6/site-packages/pyspider/webui/webdav.py 中的 
'domaincontroller': NeedAuthController(app),修改为:
'http_authenticator':{
    'HTTPAuthenticator':NeedAuthController(app)
},
# 然后再执行pyspider all就能够通过http://localhost:5000打开页面了

# 查找服务地址
which python3
# 查找pip安装的包
pip list

# 注意:如果提示命令pyspider找不到,则需要
vi ~/.bash_profile
# 添加以下内容
PATH=/usr/local/python3/bin/:$PATH
export PATH

# 目前pyspider在python3.7下会因为async关键字报错,因此需要降低python版本到3.6
  • 3
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值