安装部署Hadoop集群的方法

原创 2011年01月15日 16:37:00

任务描述

 

以NodeA、NodeB、NodeC三台机器作为Slave,搭建Hadoop集群,其中,NodeA兼为集群Master

 

准备工作

1. 为每台机器安装Java,并设定$JAVA_HOME, $CLASSPATH及$PATH等环境变量

2. 打通这三台机器的SSH访问

 

集群部署

 

**** 以下步骤需要在每台Node节点机器上完成 ****

1. 下载最新的Hadoop压缩包,在指定的Hadoop安装目录解压

2. 建立指向Hadoop安装目录的软链接/home/admin/hadoop,并设置环境变量$HADOOP_HOME及$PATH

3. cp $HADOOP_HOME/src/core/core-default.xml $HADOOP_HOME/conf/core-site.xml

4. cp $HADOOP_HOME/src/hdfs/hdfs-default.xml $HADOOP_HOME/conf/hdfs-site.xml

5. cp $HADOOP_HOME/src/mapred/mapred-default.xml $HADOOP_HOME/conf/mapred-site.xml

6. 设置$HADOOP_HOME/conf/core-site.xml中的"fs.default.name"的值为"hdfs://NodeA"

7. 设置$HADOOP_HOME/conf/mapred-site.xml中的"mapred.job.tracker"的值为"NodeA:54311"

 

**** 以下步骤只需要在Master节点机器上完成 ****

1. 在$HADOOP_HOME/conf/masters中写入Master节点的机器名"NodeA"

2. 在$HADOOP_HOME/conf/slaves中写入所有Slave节点的机器名"NodeA", "NodeB", "NodeC"

 

集群操作

 

首次部署的集群,需要先执行以下命令,对HDFS进行格式化: 

 

hadoop namenode -format

 

启动集群: 

 

1. start-all.sh    # 全部启动

2. start-dfs.sh    # 启动HDFS

3. start-mapred.sh    # 启动Map/Reduce

 

停止集群: 

 

1. stop-all.sh    # 全部停止

2. stop-dfs.sh    # 停止HDFS

3. stop-mapred    # 停止Map/Reduce

 

Web UI:

 

NameNode: http://NodeA:50070/dfshealth.jsp

JobTracker: http://NodeA:50030/jobtracker.jsp

 

版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

Ganglia监控Hadoop集群的安装部署

摘要: Ganglia监控Hadoop集群的安装部署 一、 安装环境 Ubuntu server 12.04 安装gmetad的机器:192.168.52.105 安装gmond的机 器:192.16...

Ganglia监控Hadoop集群的安装部署

Ganglia监控集群部署与配置详解

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

Ganglia监控Hadoop集群的安装部署

Ganglia是UC Berkeley发起的一个开源实时监视项目,用于测量数以千计的节点,为云计算系统提供系统静态数据以及重要的性能度量数据。Ganglia系统基本包含以下三大部分。 Gmond:G...

cloudera CDH5 Hadoop集群全套安装部署流程

本文详细地写了如何用virtualbox虚拟机虚拟出两个节点并搭建Hadoop集群。 借助cloudera manager完成集群的搭建。 包括虚拟机安装Linux后的配置和克隆虚拟机的网卡配置, 时...

Hadoop集群安装部署---从单节点的伪分布式扩展为多节点分布式

Hadoop集群安装部署---单节点伪分布式 一:slave环境配置 1、设置静态ip(manual) master: IP地址:192.168.77.70 子网掩码:255.255.255....

Hadoop建设工具Ambari的安装部署及完整使用(五)——Ambari使用之集群卸载

五.Ambari使用——卸载集群 ambari本身并没有提供自动化卸载的功能。ambari web管理端的操作更多的是实现服务或是主机的扩展(无法完全清除服务和主机)。因此本人通过实践,也整理了一...

hadoop安装部署(伪分布及集群)

hadoop安装部署(伪分布及集群)@(HADOOP)[hadoop]hadoop安装部署伪分布及集群 第一部分伪分布式 一环境准备 二安装hdfs 三安装YARN 第二部分集群安装 一规划 一硬件资...

安装ambari部署hadoop集群

2014-07-12 15:46 96人阅读 评论(1) 收藏 举报 ambari 目录(?)[-] Step 1 获得相关源码Step 2 配置安装包文件安装 Amb...

Hadoop集群(三节点)安装与部署

1.2.1 环境准备 环境由三台服务器组成,分别为目录节点,内容节点,服务器列表如下所示: 表1  主机环境准备 IP 机器名称 10.0.0.2...

Hadoop建设工具Ambari的安装部署及完整使用(四)——Ambari使用之集群建立

四.Ambari使用——建立集群1.登录并创建集群1) 以管理员登录ambari-server,用户名和密码默认为:admin/admin 2) 点击【Launch Install Wizard】开始...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)