pyspider 搭建日志

参考链接：http://cuiqingcai.com/2443.html

1、安装pip

略

2、安装phantomjs

http://phantomjs.org/download.html

必要条件：

sudo yum -y install gcc gcc-c++ make flex bison gperf ruby \
  openssl-devel freetype-devel fontconfig-devel libicu-devel sqlite-devel \
  libpng-devel libjpeg-devel

设置phantomjs的bin 到环境变量，过程略

3、pyspider安装

pipinstall pyspider

出现的问题有：

1） 需要安装lxml

2） 需要禁用ipv6，否则运行会失败

3） 使用pyspider --phantomjs-proxy="localhost:25555"的方式启动， 解决上面问题后pyspider all成功