Pyspider的安装使用

系统版本是：centos 7.2  ，自带Python版本2.7.5

1，更新epl源

yum -y install epel-release

2，安装pip

yum install python-pip -y

3，提示pip版本有点低，更新一下

pip install --upgrade pip

4，用pip安装pyspider

pip install pyspider

5，报错：ImportError: No module named urllib.parse，原因是six版本过低

pip install six --upgrade

6，启动的pyspider

#pyspider

7，登录到pyspider的web界面，浏览器打开：localhost:5000。

安装centos版本的Chrome浏览器

1，加入Chrome的源

#cd  /etc/yum.repos.d/

2，加入源

#vi  google.repo

[gogle]

name=Google-x86_64

baseurl=http://dl.google.com/linux/rpm/stable/x86_64

enabled=1

gpgcheck=0

gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub

4，安装Chrome

#yum install google-chrome-stable

5，会启动不了，只能手工启动

#google-chrome - -no-sandbox - -user-data-dir &

安装 phantomjs

1，安装依赖包 

#yum -y install gcc gcc-c++ make flex bison gperf ruby  openssl-devel freetype-devel fontconfig-devel libicu-devel sqlite-devel libpng-devel libjpeg-devel  

2，解压phantomjs 

3，添加环境变量

#vim /etc/profile

export PJS_HOME=/usr/local/phantomjs-2.1.1-linux-x86_64 

export PATH=$PATH:$PJS_HOME/bin 

4,使环境变量立即生效

#source /etc/profile

启动pyspider