安装部署Hadoop集群的方法

原创 2011年01月15日 16:37:00

任务描述

 

以NodeA、NodeB、NodeC三台机器作为Slave,搭建Hadoop集群,其中,NodeA兼为集群Master

 

准备工作

1. 为每台机器安装Java,并设定$JAVA_HOME, $CLASSPATH及$PATH等环境变量

2. 打通这三台机器的SSH访问

 

集群部署

 

**** 以下步骤需要在每台Node节点机器上完成 ****

1. 下载最新的Hadoop压缩包,在指定的Hadoop安装目录解压

2. 建立指向Hadoop安装目录的软链接/home/admin/hadoop,并设置环境变量$HADOOP_HOME及$PATH

3. cp $HADOOP_HOME/src/core/core-default.xml $HADOOP_HOME/conf/core-site.xml

4. cp $HADOOP_HOME/src/hdfs/hdfs-default.xml $HADOOP_HOME/conf/hdfs-site.xml

5. cp $HADOOP_HOME/src/mapred/mapred-default.xml $HADOOP_HOME/conf/mapred-site.xml

6. 设置$HADOOP_HOME/conf/core-site.xml中的"fs.default.name"的值为"hdfs://NodeA"

7. 设置$HADOOP_HOME/conf/mapred-site.xml中的"mapred.job.tracker"的值为"NodeA:54311"

 

**** 以下步骤只需要在Master节点机器上完成 ****

1. 在$HADOOP_HOME/conf/masters中写入Master节点的机器名"NodeA"

2. 在$HADOOP_HOME/conf/slaves中写入所有Slave节点的机器名"NodeA", "NodeB", "NodeC"

 

集群操作

 

首次部署的集群,需要先执行以下命令,对HDFS进行格式化: 

 

hadoop namenode -format

 

启动集群: 

 

1. start-all.sh    # 全部启动

2. start-dfs.sh    # 启动HDFS

3. start-mapred.sh    # 启动Map/Reduce

 

停止集群: 

 

1. stop-all.sh    # 全部停止

2. stop-dfs.sh    # 停止HDFS

3. stop-mapred    # 停止Map/Reduce

 

Web UI:

 

NameNode: http://NodeA:50070/dfshealth.jsp

JobTracker: http://NodeA:50030/jobtracker.jsp

 

Docker部署Hadoop集群

前几天写了文章“Hadoop 集群搭建”之后,一个朋友留言说希望介绍下如何使用Docker部署,这个建议很好,Docker不仅在生产环境威力巨大,对于我们在自己电脑中搭建学习实验环境更是非常便利 ...
  • u011537073
  • u011537073
  • 2016年10月12日 18:41
  • 1712

Hadoop教程(五)Hadoop分布式集群部署安装

在hadoop2.0中通常由两个NameNode组成,一个处于active状态,另一个处于standby状态。Active NameNode对外提供服务,而Standby NameNode则不对外提供...
  • yuan_xw
  • yuan_xw
  • 2016年04月17日 21:32
  • 8606

Hadoop2.7.1 集群部署及自动化脚本

实验环境操作系统:ubuntu 14.04 64位 主机名 IP namenode 10.107.12.10 datanode1 10.107.12.20 datanode2...
  • ZCF1002797280
  • ZCF1002797280
  • 2015年10月30日 00:06
  • 7126

Hadoop集群之flume安装配置

Hadoop集群之flume安装配置 1. 官方文档 http://flume.apache.org/  2. 配置环境变量 vi /etc/profile #set flum expor...
  • haoxiaoyan
  • haoxiaoyan
  • 2016年10月13日 11:16
  • 798

HA HADOOP集群和HIVE部署

HDFS HA HADOOP集群和Hive部署
  • yjyzsl
  • yjyzsl
  • 2016年08月16日 18:55
  • 1662

Ambari部署hadoop完全分布式集群

Ambari部署hadoop完全分布式集群
  • Dopamy_BusyMonkey
  • Dopamy_BusyMonkey
  • 2016年02月18日 18:38
  • 5781

Hadoop-2.5.1集群安装配置笔记

虚拟机
  • greensurfer
  • greensurfer
  • 2014年09月21日 13:10
  • 37889

使用docker搭建hadoop分布式集群

使用docker搭建部署hadoop分布式集群 在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档,没办法,只能自己写一个了。 一:环境准备: 1:首先要有一个Cent...
  • xu470438000
  • xu470438000
  • 2016年01月13日 18:16
  • 37336

超详细从零记录Hadoop2.7.3完全分布式集群部署过程

超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含,Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Had...
  • dream_an
  • dream_an
  • 2016年10月27日 16:12
  • 18774

Hadoop3.0稳定版的安装部署

号外:本公众号改名为Spark学习技巧了。 Apache Hadoop 3.0.0在前一个主要发行版本(hadoop-2.x)中包含了许多重要的增强功能。 这个版本通常是可用的(G...
  • rlnLo2pNEfx9c
  • rlnLo2pNEfx9c
  • 2017年12月15日 00:00
  • 875
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:安装部署Hadoop集群的方法
举报原因:
原因补充:

(最多只允许输入30个字)