Hadoop--HA(高可用)

最新推荐文章于 2023-04-26 10:49:22 发布
最新推荐文章于 2023-04-26 10:49:22 发布
阅读量164 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/feicongcong/article/details/104184980
版权

1.HA(高可用)方案

1.namenode HA

  • 由两(多)个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。
  • 两(多)个NameNode，会出现脑裂（brain split），两(多)个NameNode被认定为active。官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode。
  • 配置zookeeper集群，zookeeper对namenode进行监听，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为active状态

2.yarn HA

两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调

2.HA搭建

官网说明
在这里插入图片描述

1.集群规划

主机ip进程
hadoop0192.168.0.105QuorumPeerMain、DataNode、NodeManager、JournalNode、NameNode、zkfc、ResourceManager
hadoop1192.168.0.106QuorumPeerMain、DataNode、NodeManager、JournalNode、NameNode、zkfc、ResourceManager
hadoop2192.168.0.107QuorumPeerMain、DataNode、NodeManager、JournalNode、

2./etc/hadoop/下的配置文件

core-site.xml
<configuration>
	<!--hdfs集群名称-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径(工作目录) -->
    <property>
        <name>hadoop.tmp.dir</name>
	<value>/home/fcc/opt/hadoop/hadoop-2.9.2/data/</value>
    </property>
    <!-- 指定zookeeper地址 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>zookeeper0:2181,zookeeper1:2182,zookeeper2:2183</value>
    </property>

    <!--hadoop链接zookeeper的超时时长设置
    <property>
        <name>ha.zookeeper.session-timeout.ms</name>
        <value>3000</value>
        <description>ms</description>
    </property>-->
</configuration>
hdfs-site.xml
<configuration>
	<!--hdfs集群服务名称-->
	<property>
		<name>dfs.nameservices</name>
		<value>mycluster</value>
	</property>
	<!--集群的namenode-->
    	<property>
        	<name>dfs.ha.namenodes.mycluster</name>
        	<value>nn1,nn2</value>
	</property>
	<!--nn1的RPC通信地址-->
 	<property>
        	<name>dfs.namenode.rpc-address.mycluster.nn1</name>
		<value>hadoop0:9000</value>
	</property>

	<!--nn1的http通信地址-->
 	<property>
        	<name>dfs.namenode.http-address.mycluster.nn1</name>
		<value>hadoop0:50070</value>
	</property>

	<!--nn2的RPC通信地址-->
 	<property>
        	<name>dfs.namenode.rpc-address.mycluster.nn2</name>
		<value>hadoop1:9000</value>
	</property>

	<!--nn2的http通信地址-->
 	<property>
        	<name>dfs.namenode.http-address.mycluster.nn2</name>
		<value>hadoop1:50070</value>
	</property>
	<!--指定namenode的元数据在JournalNode上的存放位置-->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/mycluster</value>
	</property>
	<!--指定JournalNode在本地磁盘存放数据的位置-->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/home/fcc/opt/hadoop/hadoop-2.9.2/journaldata</value>
	</property>
	<!--开启namenode失败自动切换-->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!--配置失败自动切换实现方式-->
	<property>
		<name>dfs.client.failover.proxy.provider.mycluster</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<!--配置隔离机制方法，多个机制用换行分，即每个机制一行-->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>
	<!--使用sshfence隔离机制时需要ssh免登陆-->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/fcc/.ssh/id_rsa</value>
	</property>
	<!--配置sshfence隔离机制超时时间-->
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>10000</value>
	</property>
    <!-- 关闭权限检查-->
    <property>
            <name>dfs.permissions.enable</name>
            <value>false</value>
    </property>
</configuration>
mapre-site.xml
<configuration>
	<!--指定mapreduce框架为yarn-->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>
yarn-site.xml
<configuration>
	<!--开启RM高可用-->
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	</property>
	<!--指定RM的cluster id-->
	<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>yrcluster</value>
	</property>
    <!-- 指定RM的名字 -->
	<property>
	    <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
	</property>
    <!-- 分别指定RM的地址 rm1-->
	<property>
	    <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop0</value>
	</property>
    <!-- 分别指定RM的地址 rm2-->
	<property>
	    <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop1</value>
	</property>
    <!-- 指定zk集群地址 -->
	<property>
	    <name>yarn.resourcemanager.zk-address</name>
        <value>zookeeper0:2181,zookeeper1:2182,zookeeper2:2183</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>
slaves文件

slaves文件指定子节点的位置
启动hdfs的实例上的slaves需指定DataNode的位置
启动yarn的实例上的slaves需指定NodeManager的位置

配置ssh免密登录
  1. 在hadoop0上启动hdfs,所以hadoop0到hadoop1、hadoop2上ssh免密登录
  2. hadoop0、hadoop1两台作为namenode要互相通信，作为resourceManager要互相通信，所以hadoop0和hadoop1之间要互相ssh免密登录
  3. 在hadoop0上生成一对钥匙 ssh-keygen -t rsa
    ssh-copy-id hadoop1
    ssh-copy-id hadoop2

3.集群启动

1.启动zk集群

（hadoop0，hadoop1,hadoop2上个自启动）
zkServer.sh start
查看实例状态zkServer.sh status，一个leader，两个follower

2.启动journalnode进程

hadoop0，hadoop1,hadoop2上个自启动
sbin/hadoop-daemon.sh start journalnode
在这里插入图片描述
jps查看JournalNode进程启动成功
在这里插入图片描述

3.格式化HDFS

  1. 在hadoop0（active）上执行：hdfs namenode -format
    格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件
  2. hadoop0和hadoop1作为两个namenode要保持同步，可以将hadoop0（active）中hadoop.tmp.dir（工作目录）下的文件拷贝到hadoop1（standby）的hadoop.tmp.dir（工作目录）
    scp -r data/ hadoop1:/home/xxx
    或者在hadoop1（standby）上执行：hdfs namenode -bootstrapStandby

4.格式化ZKFC

hdfs zkfc -formatZK 在hadoop0(namenode active)上执行即可
在这里插入图片描述

5.启动HDFS

sbin/start-dfs.sh 在hadoop0(dataNode 的master)上执行即可
在这里插入图片描述

6.启动YARN

sbin/start-yarn.sh 在hadoop0(resourceManager的active)上执行即可
在这里插入图片描述
在这里插入图片描述
如果在hadoop1(resourceManager的standby)resourceManager没起，则在hadoop1上执行：sbin/yarn-daemon.sh start resourcemanager

7.HDFS web页面 & YARN web页面

HDFS web页面 192.168.0.105:50070或192.168.0.106:50070
YARN web页面 192.168.0.105:8088 resourcemanager cluster 的master

测试

  • 杀死namenode(active)这个进程,namenode(standby)的状态会变为active
  • hadoop fs -put 传一个大文件过程中，把namenode(active)这个进程杀掉，最后文件仍然上传成功

bin/hdfs dfsadmin -report 查看hdfs的各节点状态信息

bin/hdfs haadmin -getServiceState nn1 获取一个namenode节点的HA状态

sbin/hadoop-daemon.sh start namenode 单独启动一个namenode进程

./hadoop-daemon.sh start zkfc 单独启动一个zkfc进程

https://blog.csdn.net/baidu_28997655/article/details/81906591

狒狒你呐
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop-2.5.2 HA集群搭建
02-27
按照文档操作可安装7个节点的大数据集群，包括hadoop,hive,hbase,spark,tez,flume,kafka等等，不技术自动化运维及监控
Hadoop 搭建高可用集群--zookeeper
m0_73469590的博客
02-19 1178
Hadoop 搭建高可用集群--zookeeper
Hadoop系统应用之Zookeeper分布式集群部署
m0_57464618的博客
04-26 1002
PS: server.1=yangjian00:2888:3888中，1代表服务器编号，yangjian00表示服务器IP地址，2888表示通讯端口号，3888表示leader选举端口号。（2）将myid文件分发到yangjian01 yangjian02 yangjian03服务器，并修改myid文件依次对服务器号进行设置。（1） 执行命令vi /etc/profile对profile文件进行修改，添加Zookeeper的环境变量。（2）.在zkdata文件夹下创建myid文件，该文件内容为服务器编号。
基于zookeeper的Hadoop集群搭建详细步骤
Helen_1997_1997的博客
02-15 1748
基于zookeeper搭建Hadoop集群
Hadoop完全高可用集群启动顺序
sinat_36358653的博客
01-28 9403
总结一下：完全高可用的hadoop集群主要包含两部分，HDFS的高可用，Yarn的高可用 HDFS高可用启动顺序主要分为以下几步： 第一步、启动所有journalNode进程，用来存之后namenode的元数据 第二步、格式化主namenode，并启动主namenode进程 第三步、将主namenode上的元数据信息复制到从的namenode所在节点 第四步、在主namenode上格式化...
Hadoop集群 ——高可用（HA）
weixin_47869733的博客
12-05 1580
保证集群运行的高稳性。 1.相关版本： Hadoop1.x 没有高可用 Hadoop2.x 自己手动配置高可用 Hadoop3.x 框架中已经支持高可用，无需手动配置 2.实现原理： 在一个集群中，有两个NameNade 同一时刻只能有一个NameNode处于active状态，另一个处于standby状态 这两个NameNode通过zookeeper实现数据的实时同步 ...
Hadoop高可用配置HA.docx
04-21
Hadoop高可用配置HA.docx
hadoop-HA搭建+hbase.docx
04-29
初学Hadoop时试验搭建很多次的集群部署方案，步骤很详细。hadoop-2.6.5.tar.gz zookeeper-3.4.10.tar.gz Hbase1.2.6 ,两个nameNode+三dataNode
Hadoop-HA(高可用 )集群搭建文档
04-09
基于Hadoop-HA(高可用 )集群搭建目录： 一．Hadoop集群IP以及角色分配表 2 二．安装软件 2 三. 基础环境部署 2 四．安装Hadoop 6 五．安装Zookeeper集群 7 六．配置高可用集群 8 七．启动相应的服务进程 12 八．测试...
hadoop-ha全套.txt
05-13
hadoop-HA集群搭建教程.包括HA高可用和内部全套的应用详细搭建，应用说明等等
hadoop、zookeeper、hbase、spark集群配置文件
09-13
搭建hadoop+zookeeper+hbase+spark集群的配置文件和启停命令
【大数据】Hadoop高可用部署
weixin_43833235的博客
08-25 811
HDFS的块是计算机系统最小的存储单元。它是分配给文件的最小的连续存储单元。在 Hadoop，也有块的概念，只是比计算机系统的块要大得多，默认是128MB或者256MB。
Hadoop高可用
m0_52271180的博客
03-15 2612
搭建Hadoop高可用
hadoop高可用安装搭建过程（步骤讲解）
qq_41333600的博客
06-17 503
hadoop高可用安装前期准备HADOOP HA正式部署hadoop安装方案1.分发jdk到node03，node04，node052.给node03,node04,node05分别安装jdk3.同步所有服务器的时间4.装机之前的配置文件检查5. namenode与其他三台机子的免密钥设置6.两个namenode之间相互免密钥7.修改namenode的一些配置信息8.安装zookeeper(在node03，node04，node05）1）将zookeeper的压缩包上传之后解压安装zookeeper:2)修
Hadoop-HA模式（详解）
热门推荐
窃格拉瓦
08-21 2万+
一、概述 之前的博客写了搭建hadoop集群环境，今天写一写搭建高可用（HA）环境。Hadoop-HA模式大致分为两个(个人在学习中的理解)： namenode 高可用 yarn 高可用 1、Namenode HA Namenode在HDFS中是一个非常重要的组件，相当于HDFS文件系统的心脏，在显示分布式集群环境中，还是会有可能出现Namenode的崩溃或各种意外。所以，高可用模...
hadoop02--zookeeper集群搭建
码到成龚的博客
09-07 1502
安装zookeeper需要保证自己的虚拟机上有jdk，因为我们的zookeeper其实是用Java来进行编写的，因此就需要有jdk环境.............................................................
Linux基础必备
qq_43573663的博客
09-23 393
文章目录Linux系统中常用目录结构Linux下如何从普通用户切换到root用户 Linux系统中常用目录结构 /etc 目录 用来存放系统配置文件 /home 目录 普通用户家目录 /root 目录 root用户家目录 /usr 目录 用来存放共享系统资源目录 tomcat redis mongo... /temp 目录 用来存放Linux系统临时文件 Linux一般相应的文件都会会放在相应的目录下。这样更有利于文件的查找。 1、可以在家目录root或home，以
在hadoop中搭建zookeeper集群
QYHuiiQ
04-11 1442
下载zookeeper：https://archive.apache.org/dist/zookeeper/ 之前已经搭建好了三台hadoop集群（https://blog.csdn.net/QYHuiiQ/article/details/123055389?spm=1001.2014.3001.5502），这里我们在这三台机器上都执行以下步骤安装zookeeper。 解压： [root@hadoop01 wyh]# tar -zxvf apache-zookeeper-3.6.3.tar.gz.
zookeeper与hadoop整合
GuiFuShenGong123的博客
12-09 2165
介绍 在Hadoop1.X版本中namenode只支持一个，我们知道HDFS的读或者写都需要先去访问namenode，namenode其实就相当于Hadoop集群中的Master，如果namenode挂掉，整个Hadoop集群将无法使用。这就是我们说的单点故障问题。在Hadoop2.X版本之后提供了Hadoop的高可用，namenode可以配置两个，由Zookeeper管理，一个namenode处...
hadoop-2.6.0-cdh5.14.0
最新发布
12-27
同时，它还加入了一些新的功能和工具，比如支持透明数据加密、NameNode HA（高可用性）、支持Apache HBase的快照等。 除了Hadoop核心模块之外，Hadoop-2.6.0-cdh5.14.0还集成了一些与Hadoop配合使用的其他项目，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值