参考链接:http://cuiqingcai.com/2443.html
1、安装pip
略
2、安装phantomjs
http://phantomjs.org/download.html
必要条件:
sudo yum -y install gcc gcc-c++ make flex bison gperf ruby \
openssl-devel freetype-devel fontconfig-devel libicu-devel sqlite-devel \
libpng-devel libjpeg-devel
设置phantomjs的bin 到环境变量,过程略
3、pyspider安装
pipinstall pyspider
出现的问题有:
1) 需要安装lxml
2) 需要禁用ipv6,否则运行会失败
3) 使用pyspider --phantomjs-proxy="localhost:25555"的方式启动, 解决上面问题后pyspider all成功