安装部署Hadoop集群的方法

任务描述

 

以NodeA、NodeB、NodeC三台机器作为Slave，搭建Hadoop集群，其中，NodeA兼为集群Master

 

准备工作

1. 为每台机器安装Java，并设定$JAVA_HOME, $CLASSPATH及$PATH等环境变量

2. 打通这三台机器的SSH访问

 

集群部署

 

**** 以下步骤需要在每台Node节点机器上完成 ****

1. 下载最新的Hadoop压缩包，在指定的Hadoop安装目录解压

2. 建立指向Hadoop安装目录的软链接/home/admin/hadoop，并设置环境变量$HADOOP_HOME及$PATH

3. cp $HADOOP_HOME/src/core/core-default.xml $HADOOP_HOME/conf/core-site.xml

4. cp $HADOOP_HOME/src/hdfs/hdfs-default.xml $HADOOP_HOME/conf/hdfs-site.xml

5. cp $HADOOP_HOME/src/mapred/mapred-default.xml $HADOOP_HOME/conf/mapred-site.xml

6. 设置$HADOOP_HOME/conf/core-site.xml中的"fs.default.name"的值为"hdfs://NodeA"

7. 设置$HADOOP_HOME/conf/mapred-site.xml中的"mapred.job.tracker"的值为"NodeA:54311"

 

**** 以下步骤只需要在Master节点机器上完成 ****

1. 在$HADOOP_HOME/conf/masters中写入Master节点的机器名"NodeA"

2. 在$HADOOP_HOME/conf/slaves中写入所有Slave节点的机器名"NodeA", "NodeB", "NodeC"

 

集群操作

 

首次部署的集群，需要先执行以下命令，对HDFS进行格式化: 

 

hadoop namenode -format

 

启动集群: 

 

1. start-all.sh    # 全部启动

2. start-dfs.sh    # 启动HDFS

3. start-mapred.sh    # 启动Map/Reduce

 

停止集群: 

 

1. stop-all.sh    # 全部停止

2. stop-dfs.sh    # 停止HDFS

3. stop-mapred    # 停止Map/Reduce

 

Web UI:

 

NameNode: http://NodeA:50070/dfshealth.jsp

JobTracker: http://NodeA:50030/jobtracker.jsp