分部式爬蟲(一) 創建環境

本篇說明如何建置爬蟲的分部式環境，使用Centos 6.5，重頭開始部屬

1. 首先先下載GIT

說明：之後做版本控制和下載開源項目需要使用到

@下載 develope tools

http://www.linuxidc.com/Linux/2015-02/113351.htm

@yum下載git

http://www.centoscn.com/image-text/install/2014/1219/4343.html

2. 搭建python多版本環境，使用pyenv

說明：因為Centos自帶的python版本為2.6，我需要2.7+的版本

@新建刪除文件夾

http://www.centoscn.com/CentOS/help/2015/0401/5065.html

@安裝Pyenv 和 所需的套建

https://seisman.info/python-pyenv.html

http://my.oschina.net/lionets/blog/267469

(安裝問題解決)

http://www.tiny-coder.com/home-article-51.html 

3. 下再爬蟲需要的包

@安裝pip包

http://www.linuxde.net/2014/05/15576.html

@升級系統

一、安装开发包组、升级操作系统

#yum groupinstall "Development Tools" -y #yum update -y

@安裝scrapy需要的包

各需求包

http://www.cnblogs.com/zhxhdean/p/3580224.html

lxml失敗補救

http://blog.csdn.net/iefreer/article/details/8086980

4. Redis 環境架設

Python下用Scrapy和MongoDB构建爬虫系统（1）

http://www.cnblogs.com/rrxc/p/4478936.html?utm_source=tuicool&utm_medium=referral