Ubuntu 16.04 本地部署portia爬虫系统记录
环境相关
ubuntu 16.04
python:系统自带的python 3.5.2
portia:2.08
splash:3.2
注:
- 首先记录中用到的portia项目是我从docker里面copy出来的,千万不要用git pull,至少在我本地部署这段时间里,git上有所更新,已经跟官方文档的不太一样了。还有git上面release的版本,如果我没记错的话那个2.08已经很旧了,python用的2.7,splash还是用的2.3.3版本的,我看到的一个本地部署在ubuntu14.04的教程(https://www.cnblogs.com/ginponson/p/7102411.html)可能就是用的这个,但是使用这个版本进行安装的时候有一个ppa的repo已经是not found了,所以失败了。
- python不可以用2.7,安装脚本不支持2.7。还有最好不要使用anaconda3的环境,可能是这几天踩坑太多,也可能是我水平有限,反正我在anaconda3的环境中安装失败了。
安装步骤
- 首先按官方文档的docker安装方法,run一个docker,将docker中的项目(文件夹名称是app而非portia)copy到宿主机中,比如我copy到宿主机就是
/home/kaede/app
。 - 然后在app目录下运行
sudo -H ./provision.sh install_deps install_python_deps