安装搭建pyspider遇到的坑

1.更新
sudo apt-get update
2.pip
python -m pip install -U pip
3.安装依赖包
sudo apt-get install python-dev
python-distribute
libcurl4-openssl-dev
libxml2-dev
libxslt1-dev
pythonlxml
python-pip
4.安装pyspider
pip install pyspider


5.安装phanmtojs
sudo apt-get install phantomjs


6.启动pyspider
pyspider all


报错:1.phanmtojs端口已被占用:使用netstat -atunlp 查看进程ip号 
kill ip号,之后重新启动pyspider
报错  2.找不到依赖包pycurl,apt_pkg: sudo pip install apt_pkg
    sudo pip install pycurl
报错 pycurl安装失败,原因x86..gnu-gcc:
(sudo pip3 uninstall pycurl 卸载
sudo pip3 install pycurl 重安
sudo pip install gcc
sudo apt-get install gcc 安装gcc
sudo apt-get install zlib1g-dev
sudo apt-get install libevent-dev 安装不知道什么的依赖包
sudo apt-get install python-twisted-web python2.7-dev
)
以上是找不到原因之后胡乱安装一堆依赖包,但好像是执行一下两个命令才成功安装了pycurl。
sudo apt install python3.6-dev  我怀疑是因为本地Python版本太高导致报错,是Python3以上的
sudo pip install pycurl
重新启动pyspider:(pyspider --phantomjs-proxy="localhost:25555")
报错:企图修改只读数据库,原因:权限问题
sudo chown -R xufei:xufei /usr/local/lib/python3.6/dist-packages/pyspider 其中xufei为本地的用户名
后面为pyspider的路径。可以通过再次安装pip install pyspider 查看






搭建环境不要慌,无非就是少点啥包。
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值