Hadoop集群的快速部署

我的集群部署在局域网内部，与外网隔离开来。这个主要处于安全性考虑，在公网使用一段时间linux，你用 sudo cat /var/log/secure 查看安全日志会发现，每天都有一大堆居心不良的人在试探你的sshd服务。当然这个可以通过配置 sshd 来避免，不过还是谨慎为妙。

闲话少说，步入正题。我的网络结构是这样的：我的机器通过多IP配置与集群在一个网段，也可以在另一个网段通过拨号上网。我机器的操作系统是Fedora 13，集群上的机器是CentOS。
我快速部署的思路是这样的：在我的机器上下载cloudera.com上的hadoop安装包，然后在自己的机器上配置一个 yum 源，集群通过yum来批量升级和安装hadoop。

第一步，下载安装包和相关文件。
其实 cloudera 就有一个 yum源，查看一下http://archive.cloudera.com/redhat/cdh/3/ ，yum源的结构就很清晰了。

wget -mc http://archive.cloudera.com/redhat/cdh/3/

在当前文件夹下就有一个archive.cloudera.com的文件夹。

第二步，配置本地源。
mkdir /var/www/html/cloudera-hadoop
cp -r archive.cloudera.com/redhat/cdh/3 /var/www/html/cloudera-hadoop
这里是将对应的安装包和文件考到 web 目录下。
注意这里需要使用的 httpd 服务，没开启服务的话，使用service httpd start开启，没有apache软件的话，使用 sudo yum install apache安装。

然后自己做一个repo文件:
vi cloudera-hadoop.repo

内容：
[cloudera-cdh3]
name=Cloudera's Distribution for Hadoop, Version 3
baseurl=http://192.168.0.240/cloudera-hadoop/3/
gpgcheck = 0

192.168.0.240是我机器在集群网段的IP。

第三步，集群yum配置。
将cloudera-hadoop.repo拷到集群机器的 /etc/yum.repos.d/目录下。
然后在集群机器上更新yum： sudo yum update yum
在列表中看到 hadoop 的rpm包就差不多了。

接着，yum install hadoop-0.20 //安装hadoop主文件
yum install hadoop-0.20-<daemon type> //安装hadoop相关配置
sudo yum install <CDH3-component-name> //安装hadoop相关组件
这里可以参考cloudera官网的有关说明：
https://docs.cloudera.com/display/DOC/CDH3+Installation

除了主节点外，其他节点配置相同可以用集群管理命令 psh 批量安装。