Hadoop集群搭建

学习笔记：
Centos6.5搭建hadoop2.5.1，本文为single node setup，可参照
http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html，
其中yarn，zookeeper，JournalNode等搭建高可用、高并发将在后续记录。
至少准备3台机器：
1. 安装JDK，JDK版本为1.7，配置环境变量
2. 修改主机名，/etc/sysconfig/network
3. 关闭防火墙，service iptables stop，chkconfig iptables off
4. 配置/etc/hosts文件
这里配置了4台机器，角色如下：
node4：namenode
node5：secondary，datanode
node6：datanode
node7：datanode
5. 配置ssh免密登录
6. 下载安装hadoop并配置
1).tar –zxvf *在namenode解压（例如，放到/home目录下）
2).配置/home/hadoop-2.5.1/etc/hadoop/hadoop-env.sh，加入JDK目录

3).配置/home/hadoop-2.5.1/etc/hadoop/core-site.xml，namenode主机名和端口、hadoop的tmp目录。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node4:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop-2.5</value>
    </property>
</configuration>

4).配置/home/hadoop-2.5.1/etc/hadoop/hdfs-site.xml，secondary的http和https主机名、端口

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node5:50090</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.https-address</name>
        <value>node5:50091</value>
    </property>
</configuration>

5). 配置/home/hadoop-2.5.1/etc/hadoop/slaves，datanode主机名

6). 配置/home/hadoop-2.5.1/etc/hadoop/masters（该文件需自己创建），secondary主机名

7. 将hadoop配置环境变量，~/.bash_profile

export HADOOP_HOME=/home/hadoop-2.5.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

8. 将~/.bash_profile和hadoop整个目录复制到所有hadoop集群机器上，source ~/.bash_profile
9. 格式化hadoop目录，hdfs namenode –format；启动hdfs，start-dfs.sh
node4:50070打开namenode的web监控页面，查看hadoop集群运行状态