安装部署Hadoop集群的方法

任务描述

 

以NodeA、NodeB、NodeC三台机器作为Slave,搭建Hadoop集群,其中,NodeA兼为集群Master

 

准备工作

1. 为每台机器安装Java,并设定$JAVA_HOME, $CLASSPATH及$PATH等环境变量

2. 打通这三台机器的SSH访问

 

集群部署

 

**** 以下步骤需要在每台Node节点机器上完成 ****

1. 下载最新的Hadoop压缩包,在指定的Hadoop安装目录解压

2. 建立指向Hadoop安装目录的软链接/home/admin/hadoop,并设置环境变量$HADOOP_HOME及$PATH

3. cp $HADOOP_HOME/src/core/core-default.xml $HADOOP_HOME/conf/core-site.xml

4. cp $HADOOP_HOME/src/hdfs/hdfs-default.xml $HADOOP_HOME/conf/hdfs-site.xml

5. cp $HADOOP_HOME/src/mapred/mapred-default.xml $HADOOP_HOME/conf/mapred-site.xml

6. 设置$HADOOP_HOME/conf/core-site.xml中的"fs.default.name"的值为"hdfs://NodeA"

7. 设置$HADOOP_HOME/conf/mapred-site.xml中的"mapred.job.tracker"的值为"NodeA:54311"

 

**** 以下步骤只需要在Master节点机器上完成 ****

1. 在$HADOOP_HOME/conf/masters中写入Master节点的机器名"NodeA"

2. 在$HADOOP_HOME/conf/slaves中写入所有Slave节点的机器名"NodeA", "NodeB", "NodeC"

 

集群操作

 

首次部署的集群,需要先执行以下命令,对HDFS进行格式化: 

 

hadoop namenode -format

 

启动集群: 

 

1. start-all.sh    # 全部启动

2. start-dfs.sh    # 启动HDFS

3. start-mapred.sh    # 启动Map/Reduce

 

停止集群: 

 

1. stop-all.sh    # 全部停止

2. stop-dfs.sh    # 停止HDFS

3. stop-mapred    # 停止Map/Reduce

 

Web UI:

 

NameNode: http://NodeA:50070/dfshealth.jsp

JobTracker: http://NodeA:50030/jobtracker.jsp

 

阅读更多
个人分类: Linux
想对作者说点什么? 我来说一句

Hadoop集群部署

2016年04月24日 15KB 下载

计算机体系结构实验指导书

2015年05月28日 320KB 下载

没有更多推荐了,返回首页

不良信息举报

安装部署Hadoop集群的方法

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭