安装pyspider出现的问题

python 专栏收录该内容
1 篇文章 0 订阅

本文来自微信公众号:coder_xiaobu,欢迎关注

一.安装pyspider

pip install pyspider

二.启动

pyspider all

三.安装中出现的问题处理

  1. 安装的时候出现如下的错误
"Please specify --curl-dir=/path/to/built/libcurl"

解决方法:下载安装**pycurl,**下载地址https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl,下载对应版本的whl文件,比如pycurl‑7.43.0.4‑cp38‑cp38‑win32.whl,然后安装下载文件,然后再安装就可以了。

pip3 install pycurl‑7.43.0.4‑cp38‑cp38‑win32.whl
  1. 启动的时候出现如下错误
async=True, get_object=False, no_input=False):

解决方法:打开python安装目录下面的\Lib\site-packages\pyspider\run.py文件,查找所有的async将其替换为async1。

  1. 启动出现如下错误
 def __init__(self, inqueue, outqueue, poolsize=100, proxy=None, async=True):

解决方法:打开python安装目录下面的\Lib\site-packages\pyspider\fetcher\tornado_fetcher.py文件,查找所有的async将其替换为async1。

  1. webUI打不开

解决方法:打开python安装目录下面的\Lib\site-packages\pyspider\webui\app.py文件,查找所有的async将其替换为async1。

  1. 启动出现如下错误:
 - Deprecated option 'domaincontroller': use 'http_authenticator.domain_controller' instead

解决方法:打开python安装目录下面的\Lib\site-packages\pyspider\webui\webdav.py文件,查找 ‘domaincontroller’: NeedAuthController(app),将其修改为

'http_authenticator':{
        'HTTPAuthenticator':NeedAuthController(app),
    },
  1. 启动出现如下错误:
ImportError: cannot import name 'DispatcherMiddleware' from 'werkzeug.wsgi' (D:\soft\python3.8\Lib\site-packages\werkzeug\wsgi.py)

解决方法:降低wsgidav的版本

# 卸载原版本
pip uninstall wsgidav
# 安装低版本的
pip install werkzeug==0.16.1
  1. 启动出现如下错误:
pkg_resources.DistributionNotFound: The 'wsgidav>=2.0.0' distribution was not found and is required by pyspider

解决方法,安装 wsgidav

pip install wsgidav==2.0.0

四、安装Phantomjs

下载地址:http://npm.taobao.org/dist/phantomjs/
下载完成配置环境变量,将其下面的bin目录路径加入PATH环境变量里面。

  • 0
    点赞
  • 3
    评论
  • 1
    收藏
  • 打赏
    打赏
  • 扫一扫,分享海报

评论 3 您还未登录,请先 登录 后发表或查看评论
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页

打赏作者

一条路上的咸鱼

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值