基于scrapy的挖掘系统所需环境汇总

基于scrapy的挖掘系统所需环境汇总

传送门会慢慢编辑，由于分布式部署前期使用Ubuntu 14.04 LTS 作为开发的操作系统， 有一些基础系统自带类库将不在该汇总中。持续更新中。。。

一、相关软件

• jdk
• mysql 
• php 
• python
• pip
• easy install
• docker

二、挖掘系统软件

• scrapy 
• scrapyd  
• selenium 
• phantomjs
• splash
• redis

三、IDE相关工具

• sublime text
• workbench
• pycharm  

四、非必需的软件和工具

• chrome及chrome的Webdriver