任务描述
以NodeA、NodeB、NodeC三台机器作为Slave,搭建Hadoop集群,其中,NodeA兼为集群Master
准备工作
1. 为每台机器安装Java,并设定$JAVA_HOME, $CLASSPATH及$PATH等环境变量
2. 打通这三台机器的SSH访问
集群部署
**** 以下步骤需要在每台Node节点机器上完成 ****
1. 下载最新的Hadoop压缩包,在指定的Hadoop安装目录解压
2. 建立指向Hadoop安装目录的软链接/home/admin/hadoop,并设置环境变量$HADOOP_HOME及$PATH
3. cp $HADOOP_HOME/src/core/core-default.xml $HADOOP_HOME/conf/core-site.xml
4. cp $HADOOP_HOME/src/hdfs/hdfs-default.xml $HADOOP_HOME/conf/hdfs-site.xml
5. cp $HADOOP_HOME/src/mapred/mapred-default.xml $HADOOP_HOME/conf/mapred-site.xml
6. 设置$HADOOP_HOME/conf/core-site.xml中的"fs.default.name"的值为"hdfs://NodeA"
7. 设置$HADOOP_HOME/conf/mapred-site.xml中的"mapred.job.tracker"的值为"NodeA:54311"
**** 以下步骤只需要在Master节点机器上完成 ****
1. 在$HADOOP_HOME/conf/masters中写入Master节点的机器名"NodeA"
2. 在$HADOOP_HOME/conf/slaves中写入所有Slave节点的机器名"NodeA", "NodeB", "NodeC"
集群操作
首次部署的集群,需要先执行以下命令,对HDFS进行格式化:
hadoop namenode -format
启动集群:
1. start-all.sh # 全部启动
2. start-dfs.sh # 启动HDFS
3. start-mapred.sh # 启动Map/Reduce
停止集群:
1. stop-all.sh # 全部停止
2. stop-dfs.sh # 停止HDFS
3. stop-mapred # 停止Map/Reduce
Web UI:
NameNode: http://NodeA:50070/dfshealth.jsp
JobTracker: http://NodeA:50030/jobtracker.jsp