Python爬虫进阶二之PySpider框架安装配置

项目的地址 ：PySpider，以及官方文档：官方文档 

安装

1. 安装pip：pip安装

2. phantomjs

PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持，其快速、原生支持各种Web标准：DOM 处理、CSS 选择器、JSON、Canvas 和 SVG。 PhantomJS 可以用于页面自动化、网络监测、网页截屏以及无界面测试等。

安装

以上附有官方安装方式，如果你是 Ubuntu 或 Mac OS X用户，可以直接用命令来安装

Ubuntu : sudo apt-get install phantomjs

Mac OS X : brew install phantomjs

3. pyspider：pip install pyspider

测试

如果安装过程没有提示任何错误，那就证明一些OK。

命令行输入：pyspider all

然后浏览器访问 http://localhost:5000

观察一下效果，如果可以正常出现 PySpider 的页面，那证明一切OK

在此附图一张，这是我写了几个爬虫之后的界面。

我曾遇到过的一个错误：

 

PySpider HTTP 599: SSL certificate problem错误的解决方法 ，后来在作者那发了issue得到了答案，我再Win10，Linux Ubuntu，Linux CentOS，Mac OS X都成功运行。不过确实有些奇怪的问题，跑着跑着崩了。

如果大家有问题，可以看看作者项目里面有没有类似的issue，另外也推荐大家直接到作者的GitHub上发issue。

Issue地址：PySpider Issue