安装部署Hadoop集群的方法

原创 2011年01月15日 16:37:00

任务描述

 

以NodeA、NodeB、NodeC三台机器作为Slave,搭建Hadoop集群,其中,NodeA兼为集群Master

 

准备工作

1. 为每台机器安装Java,并设定$JAVA_HOME, $CLASSPATH及$PATH等环境变量

2. 打通这三台机器的SSH访问

 

集群部署

 

**** 以下步骤需要在每台Node节点机器上完成 ****

1. 下载最新的Hadoop压缩包,在指定的Hadoop安装目录解压

2. 建立指向Hadoop安装目录的软链接/home/admin/hadoop,并设置环境变量$HADOOP_HOME及$PATH

3. cp $HADOOP_HOME/src/core/core-default.xml $HADOOP_HOME/conf/core-site.xml

4. cp $HADOOP_HOME/src/hdfs/hdfs-default.xml $HADOOP_HOME/conf/hdfs-site.xml

5. cp $HADOOP_HOME/src/mapred/mapred-default.xml $HADOOP_HOME/conf/mapred-site.xml

6. 设置$HADOOP_HOME/conf/core-site.xml中的"fs.default.name"的值为"hdfs://NodeA"

7. 设置$HADOOP_HOME/conf/mapred-site.xml中的"mapred.job.tracker"的值为"NodeA:54311"

 

**** 以下步骤只需要在Master节点机器上完成 ****

1. 在$HADOOP_HOME/conf/masters中写入Master节点的机器名"NodeA"

2. 在$HADOOP_HOME/conf/slaves中写入所有Slave节点的机器名"NodeA", "NodeB", "NodeC"

 

集群操作

 

首次部署的集群,需要先执行以下命令,对HDFS进行格式化: 

 

hadoop namenode -format

 

启动集群: 

 

1. start-all.sh    # 全部启动

2. start-dfs.sh    # 启动HDFS

3. start-mapred.sh    # 启动Map/Reduce

 

停止集群: 

 

1. stop-all.sh    # 全部停止

2. stop-dfs.sh    # 停止HDFS

3. stop-mapred    # 停止Map/Reduce

 

Web UI:

 

NameNode: http://NodeA:50070/dfshealth.jsp

JobTracker: http://NodeA:50030/jobtracker.jsp

 

相关文章推荐

Ganglia监控Hadoop集群的安装部署

Ganglia监控集群部署与配置详解

hadoop集群配置之hive1.2.0安装部署(远程mysql)

hadoop的版本是2.6.0 根据hive的源数据不同分为三种模式     1、内嵌模式,使用自带的derby     2、本地独立模式,本地mysql库     3、远程模式,远程mysq...

hadoop集群配置之hive1.2.0安装部署(远程mysql)

hadoop的版本是2.6.0 根据hive的源数据不同分为三种模式     1、内嵌模式,使用自带的derby     2、本地独立模式,本地mysql库     3、远程模式,远程mysq...
  • vfgbv
  • vfgbv
  • 2016年03月29日 10:52
  • 606

cloudera CDH5 Hadoop集群全套安装部署流程

本文详细地写了如何用virtualbox虚拟机虚拟出两个节点并搭建Hadoop集群。 借助cloudera manager完成集群的搭建。 包括虚拟机安装Linux后的配置和克隆虚拟机的网卡配置, 时...

Hadoop集群安装部署---从单节点的伪分布式扩展为多节点分布式

Hadoop集群安装部署---单节点伪分布式 一:slave环境配置 1、设置静态ip(manual) master: IP地址:192.168.77.70 子网掩码:255.255.255....

spark-2.2.0 集群安装部署以及hadoop集群部署

spark hadoop
  • huaishu
  • huaishu
  • 2017年08月05日 14:32
  • 394

安装ambari部署hadoop集群

2014-07-12 15:46 96人阅读 评论(1) 收藏 举报 ambari 目录(?)[-] Step 1 获得相关源码Step 2 配置安装包文件安装 Amb...

Hadoop集群(三节点)安装与部署

1.2.1 环境准备 环境由三台服务器组成,分别为目录节点,内容节点,服务器列表如下所示: 表1  主机环境准备 IP 机器名称 10.0.0.2...

Hadoop建设工具Ambari的安装部署及完整使用(五)——Ambari使用之集群卸载

五.Ambari使用——卸载集群 ambari本身并没有提供自动化卸载的功能。ambari web管理端的操作更多的是实现服务或是主机的扩展(无法完全清除服务和主机)。因此本人通过实践,也整理了一...

hadoop安装部署(伪分布及集群)

hadoop安装部署(伪分布及集群)@(HADOOP)[hadoop]hadoop安装部署伪分布及集群 第一部分伪分布式 一环境准备 二安装hdfs 三安装YARN 第二部分集群安装 一规划 一硬件资...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:安装部署Hadoop集群的方法
举报原因:
原因补充:

(最多只允许输入30个字)