64位Ubuntu 16.04 安装pyspider

Ubuntu 16.04 安装pyspider

近期见到有人使用pyspider爬取一个小说网站，因此想使用pyspider来爬取一下。

1. 安装依赖的类库：

   sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml libpcap-dev libpq-dev
   

2. 安装pip

   sudo apt-get install python-pip
   

3. 安装phantomjs

   sudo apt-get install phantomjs
   

4. 安装pyspider

   pip install pyspider
   

5. 运行程序

   pyspider all
   

6. 浏览器查看， 然后在浏览器输入 http://localhost:5000，出现下面的图片代表正常安装
   
   总结：安装过程中的问题如下：

   • 安装类库，有libcurl4-openssl-dev 、 libxslt1-dev 、libpq-dev共3个安装失败，需要把这3个库重新安装。
   • 安装pyspider时，会提示pip要升级，升级使用 sudo pip
     install --upgrade pip。