Hadoop2.0 HA 集群搭建步骤

最新推荐文章于 2020-03-15 00:40:46 发布
最新推荐文章于 2020-03-15 00:40:46 发布
阅读量318 收藏
点赞数
分类专栏： 软件安装配置 文章标签： hadoop 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiangzhuangchao4049/article/details/54957958
版权

集群节点分配

Park01

Zookeeper
NameNode(active)
Resourcemanager (active)

Park02

Zookeeper
NameNode (standby)

Park03

Zookeeper
ResourceManager(standby)

Park04

DataNode
NodeManager
JournalNode

Park05

DataNode
NodeManager
JournalNode

Park06

DataNode
NodeManager
JournalNode

安装步骤

0.永久关闭每台机器的防火墙

执行：service iptables stop
再次执行：chkconfig iptables off

1.为每台机器配置主机名以及hosts文件

配置主机名=》执行：vim /etc/sysconfig/network =》然后执行 hostname 主机 名= 》达到不重启生效目的
配置hosts文件=》执行：vim /etc/hosts

示例：
127.0.0.1   localhost
::1         localhost
192.168.234.21 hadoop01
192.168.234.22 hadoop02
192.168.234.23 hadoop03
192.168.234.24 hadoop04
192.168.234.25 hadoop05
192.168.234.26 hadoop06
2.通过远程命令将配置好的hosts文件scp到其他5台节点上

执行：scp /etc/hosts hadoop02: /etc

3.为每天机器配置ssh免秘钥登录

执行：ssh-keygen
ssh-copy-id root@hadoop01 （分别发送到6台节点上）

4.前三台机器安装和配置zookeeper

配置conf目录下的zoo.cfg以及创建myid文件
（zookeeper集群安装具体略）

5.为每台机器安装jdk和配置jdk环境
6.为每台机器配置主机名,然后每台机器重启，（如果不重启，也可以配合： hostname hadoop01生效）

执行： vim /etc/sysconfig/network 进行编辑

7.安装和配置01节点的hadoop

配置hadoop-env.sh
配置 jdk 安装所在目录
配置hadoop配置文件所在目录

8. 配置 core-site.xml
<configuration>
<!--用来指定hdfs的老大，ns为固定属性名，表示两个namenode-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns</value>
</property>
<!--用来指定hadoop运行时产生文件的存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/software/hadoop-2.7.1/tmp</value>
</property>

<!--执行zookeeper地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
</configuration>
9. 配置 01 节点的 hdfs-site.xml

配置

<configuration>
<!--执行hdfs的nameservice为ns,和core-site.xml保持一致-->
<property>
<name>dfs.nameservices</name>
<value>ns</value>
</property>
<!--ns下有两个namenode,分别是nn1,nn2-->
<property>
<name>dfs.ha.namenodes.ns</name>
<value>nn1,nn2</value>
</property>
<!--nn1 的 RPC 通信地址-->
<property>
<name>dfs.namenode.rpc-address.ns.nn1</name>
<value>hadoop01:9000</value>
</property>
<!--nn1的http通信地址-->
<property>
<name>dfs.namenode.http-address.ns.nn1</name>
<value>hadoop01:50070</value>
</property>
<!--nn2的RPC通信地址-->
<property>
<name>dfs.namenode.rpc-address.ns.nn2</name>
<value>hadoop02:9000</value>
</property>
<!--nn2 的 http 通信地址-->
<property>
<name>dfs.namenode.http-address.ns.nn2</name>
<value>hadoop02:50070</value>
</property>
<!--指定namenode的元数据在JournalNode上的存放位置,这样，namenode2可以 从 jn 集群里获取
     最新的namenode的信息，达到热备的效果-->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value> qjournal://hadoop04:8485;hadoop05:8485;hadoop06:8485/ns</value>
</property>
<!--指定 JournalNode 存放数据的位置-->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/software/hadoop-2.7.1/journal</value>
</property>
<!--开启namenode故障时自动切换-->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!--配置切换的实现方式-->
<property>
<name>dfs.client.failover.proxy.provider.ns</name>
<value> org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProv ider</value>
</property>
<!--配置隔离机制-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!--配置隔离机制的ssh登录秘钥所在的位置-->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!--配置namenode数据存放的位置,可以不配置，如果不配置，默认用的是
     core-site.xml里配置的hadoop.tmp.dir的路径-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/software/hadoop-2.7.1/tmp/namenode</value>
</property>
<!--配置datanode数据存放的位置,可以不配置，如果不配置，默认用的是
          core-site.xml 里配置的 hadoop.tmp.dir 的路径-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/software/hadoop-2.7.1/tmp/datanode</value>
</property>
<!--配置 block 副本数量-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!--设置hdfs的操作权限，false表示任何用户都可以在hdfs上操作文件-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
10.配置mapred-site.xml

配置代码：

<configuration>
<property>
<!--指定mapreduce运行在yarn上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
11.配置yarn-site.xml

配置代码：

<configuration>
<!--开启YARN HA --> 
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
  <!--指定两个resourcemanager的名称--> 
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!--配置rm1，rm2的主机--> 
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop03</value>
</property>
<!--开启yarn恢复机制-->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<!--执行rm恢复机制实现类-->
<property>
<name>yarn.resourcemanager.store.class</name>
<value> org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore </value>
</property>
<!--配置zookeeper的地址-->  
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
<description>For multiple zk services, separate them with comma</description>
</property>
<!--指定YARN HA的名称-->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yarn-ha</value>
</property>
<property>
<!--指定 yarn 的老大 resoucemanager 的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>hadoop0 1 </value>
</property>
<property>
<!--NodeManager获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
12.配置slaves文件

配置代码：

hadoop04
hadoop05
hadoop06
13.配置hadoop的环境变量（可不配）
JAVA_HOME=/home/software/jdk1.8
HADOOP_HOME=/home/software/hadoop-2.7.1
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export JAVA_HOME PATH CLASSPATH HADOOP_HOME
14.根据配置文件，创建相关的文件夹，用来存放对应数据

在 hadoop-2.7.1 目录下创建 :
①journal目录
②创建tmp目录
③在tmp目录下，分别创建namenode目录和datanode目录

15.通过scp 命令，将hadoop安装目录远程copy到其他5台机器上

比如向hadoop02节点传输：
scp -r hadoop-2.7.1 hadoop02:/home/software
然后把/etc/profile 发往其他5台机器，别忘了每台机器执行：source /etc/profile

Hadoop 集群启动
16.启动zookeeper集群

在 Zookeeper 安装目录的 bin 目录下执行：sh zkServer.sh start

17.格式化zookeeper

在zk的leader节点上执行：
hdfs zkfc -formatZK，这个指令的作用是在zookeeper集群上生成ha节点 （ns节点）
注：18–24步可以用一步来替代：进入hadoop安装目录的sbin目录，执行： start-dfs.sh 。 但建议还是按部就班来执行，比较可靠。

18.启动journalnode集群

在04、05、06节点上执行：
切换到hadoop安装目录的sbin目录下，执行：
sh hadoop-daemons.sh start journalnode
然后执行jps命令查看：

19.格式化01节点的namenode

在01节点上执行：
hadoop namenode -format

20.启动01节点的namenode

在 01 节点上执行：
hadoop-daemon.sh start namenode

21.把02节点的namenode节点变为standby namenode节点

在02节点上执行：
hdfs namenode-bootstrapStandby

22. 启动 02 节点的 namenode 节点

在02节点上执行：
hadoop-daemon.sh start namenode

23.在04,05,06节点上启动datanode节点

在 04,05,06 节点上执行：hadoop-daemon.sh start datanode

24.启动zkfc（启动FalioverControllerActive)

在01,02节点上执行：
hadoop-daemon.sh start zkfc

25.在01节点上启动主Resourcemanager

在01节点上执行：start-yarn.sh
启动成功后，04,05,06节点上应该有nodemanager 的进程

26. 在 03 节点上启动副 Resoucemanager

在03节点上执行：yarn-daemon.sh start resourcemanager

27.测试

输入地址： http://192.168.234.21:50070 ，查看 namenode 的信息，是active状态 的
输入地址：http://192.168.234.22:50070，查看namenode的信息，是standby状态
然后停掉01节点的namenode,此时返现standby的namenode变为active。

28. 查看 yarn 的管理地址

http://192.168.234.21:8088（节点01的8088端口）
停掉：yarn-daemon.sh stop resourcemanager
启动： y arn-daemon.sh start resourcemanager
排错：
1.排查防火墙
2. 排查 ip ，如果不是固定 ip 的话，要看下 ip 是否被更换
3.主机名
4.hosts ip和主机名是否对应上
5. 排查 zk 的配置文件
6.排查hadoop的配置文件

插件：

此外注意，job连接的地址是active的namenode的地址

李先生1994
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2.修改/etc/hosts文件 /安装SSH、配置SSH无密码登陆（全程切换到hadoop用户下操作）
GoJawee的博客
08-10 2656
修改/etc/hosts文件 sudo gedit /etc/hosts127.0.0.1 localhost 192.168.222.129 master 下面分别对应三个机器的IP地址，用ifconfig查看 192.168.222.130 slave1 192.168.222.131 slave2# The following lines are desirable for IPv
Hadoop2.0 HA集群搭建步骤
08-11
所谓HA，即高可用，实现高可用最关键的是消除单点故障，hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA；通过双namenode消除单点故障；通过双namenode协调工作
阿里云主机Hadoop-HA集群搭建步骤(详细)
yoohhwz的博客
08-21 831
环境： 阿里云三台：centos7.2 hadoop-2.6.0-cdh5.15.1.tar.gz jdk-8u45-linux-x64.gz zookeeper-3.4.6.tar.gz 先在三台机器上分别创建一个hadoop用户，并切换至hadoop用户 [root@hadoop001 ~]# useradd hadoop [root@hadoop002 ~]# useradd hadoop...
hadoop 2.9.0 yarn-default.xml 属性集
06-02
hadoop 2.9.0 yarn-site.xml 全部属性集，默认值及属性描述，其中关键属性已使用pdf注释标注
解析Hadoop新一代MapReduce框架Yarn
iteye_3276的博客
02-16 297
更快、更强——解析Hadoop新一代MapReduce框架Yarn 摘要：本文介绍了Hadoop 自0.23.0版本后新的MapReduce框架（Yarn)原理、优势、运作机制和配置方法等；着重介绍新的Yarn框架相对于原框架的差异及改进。 编者按：对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不...
Hadoop2.0开发环境搭建
07-15
涉及到了Hadoop2.0、Hbase、Sqoop、Flume、Hive、Zookeeper的具体环境搭建
Hadoop-ha集群搭建
10-09
HadoopHA集群搭建描述及指令，里面有各种注意事项。 集群部署节点角色的规划（3节点） ------------------ server01 namenode resourcemanager zkfc nodemanager datanode zookeeper journal node server02 ...
Hadoop2.0 集群高可用安装步骤
09-05
开源思想，少要积分，仅供学习参考。 Hadoop2.0 从0到HA安装运行步骤。 开源思想，少要积分，仅供学习参考。 Hadoop2.0 从0到HA安装运行步骤。
大数据Hadoop2.0集群搭建
10-18
VM、hadoop、Hive、HBase、Mahout、Sqoop、Spark、Storm、Kafka的安装部署手册
Hadoop目录结构分析
mischen520的博客
07-28 407
1.查看Hadoop目录结构 2、重要目录 （1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本 （2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件 （3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能） （4）sbin目录：存放启动或停止Hadoop相关服务的脚本 （5）share目录：存放Hadoop的依赖jar...
Hadoop集群搭建（英文官网翻译）
Zmj的博客
04-14 2033
以下仅是译者，抽出闲暇时间进行翻译，由于本身能力有限，难免会有译错或者误解原作者意思。还请大家互相指正，互相学习。共同翻译Hadoop官网，一起遨游技术知识的海洋。走进--&gt;原文英文官网目的这个文档描述了如何用千台的节点来安装和配置Hadoop集群，如果你仅仅是为了体验尝试下Hadoop，你可以在单台的机器上去安装它(具体参看Single Node Setup)这个文档没有涵盖一些高级的主题...
集群Hadoop修改hosts文件
qq_40831898的博客
03-15 2118
启动集群步骤： 1、修改文件 C–>Windows—>system32—drivers—>etc 文件夹下的host文件
Yarn中的几种状态机
weixin_30920853的博客
01-08 102
转载自：https://www.cnblogs.com/Scott007/p/3893318.html 1 概述 为了增大并发性，Yarn采用事件驱动的并发模型，将各种处理逻辑抽象成事件和调度器，将事件的处理过程用状态机表示。什么是状态机？ 如果一个对象，其构成为若干个状态，以及触发这些状态发生相互转移的事件，那么此对象称之为状态机。 处理请求作为某种事件发送到系统...
关于 hadoop-2.2 配置中的 yarn.nodemanager.aux-services 项
热门推荐
samhacker的专栏
01-20 2万+
在hadoop-2.0.3-alpha 的配置中，yarn.nodemanager.aux-services项的默认值是“mapreduce.shuffle”，但如果在hadoop-2.2 中继续使用这个值，NodeManager 会启动失败，在logs/yarn-biadmin-nodemanager-hostname.log里会报如下的错： 2014-01-19 22:35:04,309 F
Hadoop 下一代 MapReduce - 集群参数设置与启动
Zephyr's Blog
01-05 2147
原文地址：http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/ClusterSetup.html一 目的 二 先决条件 三 安装 四 运行 Hadoop Non-Secure 模式 1 配置 Hadoop 守护进程的运行环境 2 配置非安全模式下的 Hadoop 进程 五 Hadoop 的机架感知 六 监控 N
Hadoop - YARN NodeManager 剖析
weixin_34162228的博客
06-15 121
一 概述         NodeManager是执行在单个节点上的代理，它管理Hadoop集群中单个计算节点，功能包含与ResourceManager保持通信，管理Container的生命周期、监控每一个Container的资源使用(内存、CPU等）情况、追踪节点健康状况、管理日志和不同应用程序用到的附属服务等。         NodeManag...
hadoop高可靠集群搭建
snail_bing的博客
08-17 746
HA hadoop集群完美搭建 此博文可以堪称史上最全、宇宙最详细的HA hadoop集群搭建攻略，是本人呕心制作，亲自搭建完成后的全过程笔录。 在看下面内容之前，希望你先去看一下这几篇博文，熟悉整个hadoop集群环境搭建流程： linux系统jdk安装教程。 zookeeper集群搭建教程。 hadoop伪分布式集群环境搭建教程。 ok，看完这几篇博文之后相信你已经了解并熟悉了ha...
hadoop-3.0.0 配置中的 yarn.nodemanager.aux-services 项
weixin_30778805的博客
07-12 3474
在hadoop-3.0.0-alpha4 的配置中，yarn.nodemanager.aux-services项的默认值是“mapreduce.shuffle”，但如果在hadoop-2.2 中继续使用这个值，NodeManager 会启动失败，在logs/yarn-biadmin-nodemanager-hostname.log里会报如下的错： java.lang.IllegalArgumen...
Hadoop-2.0-NameNode-HA和Federation实践1
最新发布
08-08
总结来说，Hadoop 2.0引入的HA和Federation是针对HDFS单点故障和集群扩展的重大改进。HA提供了可靠的NameNode故障转移机制，提高了服务可用性；而Federation则增强了数据管理和操作的灵活性。这些特性对于满足大型...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值