基于scrapy的挖掘系统所需环境汇总
传送门会慢慢编辑,由于分布式部署前期使用Ubuntu 14.04 LTS 作为开发的操作系统, 有一些基础系统自带类库将不在该汇总中。持续更新中。。。
一、相关软件
- jdk
- mysql
- php
- python
- pip
- easy install
- docker
二、挖掘系统软件
- scrapy
- scrapyd
- selenium
- phantomjs
- splash
- redis
三、IDE相关工具
- sublime text
- workbench
- pycharm
四、非必需的软件和工具
- chrome及chrome的Webdriver