Zookeeper-2 利用Zookeeper实现HDFS HA(High Availability)方案

最新推荐文章于 2024-01-08 15:46:40 发布
VIP文章 最新推荐文章于 2024-01-08 15:46:40 发布
阅读量398 收藏
点赞数
分类专栏： Zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a3125504x/article/details/106735439
版权

利用Zookeeper实现HDFS HA方案

引言

  • 在Hadoop 1.x版本，HDFS集群的NameNode一直存在单点故障问题：

    • 集群只存在一个NameNode节点，它维护了HDFS所有的元数据信息
    • 当该节点所在服务器宕机或者服务不可用，整个HDFS集群处于不可用状态

  • Hadoop 2.x版本提出了高可用 (High Availability, HA) 解决方案

用到的ZK特性

  • 所有ZK服务器数据是相同的
  • 临时节点
    • 临时节点只在当前会话期存在，当前会话结束后，临时节点自动删除
  • 持久节点
    • 持久节点类似Linux的文件夹，会永久存在
  • 监听器的三个逻辑
    • 注册：客户端向ZooKeeper集群注册监听器
    • 监听事件：监听器负责监听特定的事件
    • 回调函数：当监听器监听到事件的发生后，调用注册监听器时定义的回调函数

HDFS HA方案，主要分两部分：

①元数据同步

②主备切换

HDFS HA实现之元数据备份

最低0.47元/天 解锁文章
爱吃甜食_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Flink】flink zookeeper HA 实现分析
九师兄
12-30 1537
1.概述 转载：flink zookeeper HA 实现分析 仅仅是自己学习。 2.Zookeeper HA相关配置 ## 使用zk做HA high-availability: zookeeper ## zk地址 high-availability.zookeeper.quorum: node1:2181,node2:2181,node3:2181 ## flink在zk下的工作路径 high-availability.zookeeper.path.root: /flink ## 任务所在的HA路径 h
大数据相关框架（一）Zookeeper
m0_45993982的博客
04-22 233
大数据相关框架（一）Zookeeper Zookeeper安装参考：https://www.cnblogs.com/jimcsharp/p/8358271.html 一、Zookeeper概述 （一）定义及作用 1.Zookeper是一个为分布式应用提供的一个分布式开源协调服务框架，是Google的Chubby的一个开源实现，是Hadoop和Hbase的重要组件。 2.主要用于解决分布式集群中应用系统的一致性问题。 3.可⽤于维护和监控存储的数据的状态，通过监控存储的数据状态的变化，从⽽达到基于数据的集群管
基于zookeeper实现服务节点HA主备自动切换
最新发布
HarryChenj的专栏
01-08 1616
zookeeper实现服务节点HA主备自动切换 1主多从模式 ZooKeeper实现高可用 主备模式自动切换 基于SpringBoot2.5.6、SpringFrameWork5.3.12、JDK8
Hadoop HA 集群部署（以三台为例），zookeeper集群管理
youhebuke_f的博客
10-05 2719
Hadoop ha高可用集群部署
HA 的概念 Zookeeper 的介绍和原理
小小王的博客
10-11 306
同步两个 NameNode 的数据 在第一个 NameNode 宕机后启用第二个 NameNode。Follower：Leader 的备份数据，状态同步，参与选举操作。Zookeeper 通常以集群的方式使用 一般为 3 或 5 个节点，奇数。NameNode 存在单点故障的可能，需要配置 HA 解决。解决单点故障，保证企业服务 7*24 小时不宕机。单点故障：某个节点宕机导致整个集群的宕机。5台服务器，1√，2√，3√，4√，5√。Leader：被选举出的，与客户端交互。少数服从多少（半数原则）
zookeeper-visualizer:zookeeper的可视化管理工具
05-13
zookeeper-visualizerzookeeper的可视化管理工具简介zookeeper-visualizer是zookeeper的可视化管理工具, 用Java8编写, 使用JAVAFX2.0进行ui设计会持续更新, 欢迎提需求环境jdk 1.8.0_60+功能树形箭头往下即可监听...
Master基于ZooKeeper的HighAvailability源码实现
03-03
Spark可以选用ZooKeeper来实现HA。ZooKeeper提供了一个LeaderElection机制，利用这个机制可以保证虽然集群存在多个Master但是只有一个是Active的，其他的都是Standby，当Active的Master出现故障时，另外的一个...
Hadoop-2.8.1+Zookeeper-3.4.6(HDFS,YARN HA)部署指南
12-26
Hadoop-2.8.1+Zookeeper-3.4.6(HDFS,YARN HA)部署指南
apache-zookeeper-3.6.0.tar.gz
07-12
apache-zookeeper-3.6.0.tar.gz
ZooKeeper3.7.0(ZooKeeper-client)编译的头文件和库
11-29
linux下编译zookeeper3.7.0出的头文件和库: proto.h recordio.h zookeeper.h zookeeper.jute.h zookeeper_log.h zookeeper_version.h libzookeeper_mt.a libzookeeper_mt.la libzookeeper_mt.so libzookeeper_mt....
HDFS多租户实现
11-16
HDFS多租户的相关介绍说明 多租户应用 多个租户共享硬件资源，硬件资源提供一个共享的应用和数据库实例。每个租户认为自己独占资源，因为实例提供高度的定制以满足租户所需。 租户 是指求租SaaS解决方案的企业实体。一个租户一般会有多个用户。
flink zookeeper HA 实现分析
u013939918的博客
05-25 2371
Zookeeper HA相关配置 ## 使用zk做HA high-availability: zookeeper ## zk地址 high-availability.zookeeper.quorum: node1:2181,node2:2181,node3:2181 ## flink在zk下的工作路径 high-availability.zookeeper.path.root: /flink ## 任务所在的HA路径 high-availability.cluster-id: /default #.
Flink部署——高可用
京河小蚁的博客
06-26 4187
JobManager 高可用（HA）模式加强了 Flink 集群防止 JobManager 故障的能力。 此特性确保 Flink 集群将始终持续执行你提交的作业。JobManager 协调每个 Flink 的部署。它同时负责 调度 和 资源管理。默认情况下，每个 Flink 集群只有一个 JobManager 实例。这会导致 单点故障（SPOF）：如果 JobManager 崩溃，则不能提交任何新程序，运行中的程序也会失败。使用 JobManager 高可用模式，你可以从 JobManager 失败中恢复，
生产环境中的 Flink 高可用配置
weixin_42642502的博客
06-06 612
源码分析 Flink 中的 JobManager、WebServer 等组件都需要高可用保障，并且 Flink 还需要进行 Checkpoint 元数据的持久化操作。与 Flink HA 相关的类图如下图所示，我们跟随源码简单看一下 Flink HA 的实现。 HighAvailabilityMode 类中定义了三种高可用性模式枚举， NONE：非 HA 模式 ZOOKEEPER：基于 ZK 实现 HA FACTORY_CLASS：自定义 HA 工厂类，该类需要实现 HighAvailabilitySe
Day52 Zookeeper的安装与使用、HA的搭建、MapReduce框架概述
m0_64350718的博客
04-05 1643
ZooKeeper的安装与配置 1、上传安装包到master并解压 tar -zxvf zookeeper-3.4.6.tar.gz 这里所使用的zooKeeper-3.4.6的压缩包版本过低，可能无法完成zookeeper中的一些操作命令，建议安装zookeeper-3.5.7版本或者更高版本 2、配置环境变量 vim /etc/profile export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6 export PA...
Zookeeper HA集群搭建，主备切换测试验证
weixin_40524659的博客
03-13 807
Zookeeper集群中只要有过半的节点是正常的情况下，那么整个集群对外就是可用的。 正是基于这个特性，要将ZK集群的节点数量要为奇数（2n+1：如3、5、7个节点）较为合适。 zookeeper服务集群工作图： zookeeper HA集群搭建： 设备信息： 设备：192.168.136.136 设备：192.168.136.137 设备：192.168.136.138 1，首先在三台设备上分别安装单机zookeeper，方法已经在上篇blog介绍过， 2, 接下...
基于Zookeeper搭建hadoop的HA功能
枣泥馅的博客
07-05 550
简介 使用zookeeper和Hadoop的FailOverController的心跳检测来维护hadoop，并在hadoop宕机的时候通过zookeeper选举功能进行Active的切换 并使用JournalNode来维护Namenode的日志和元信息 集群规划 Zookeeper集群： 192.168.112.112 （bigdata112） 192.168.112.113 （bigdata113） 192.168.112.114 （bigdata114） Hadoop集群： 192.168.112..
Spark技术内幕：Master基于ZooKeeper的High Availability（HA）源码实现
weixin_34221036的博客
06-24 199
如果Spark的部署方式选择Standalone，一个采用Master/Slaves的典型架构，那么Master是有SPOF（单点故障，Single Point of Failure）。Spark可以选用ZooKeeper来实现HA。 ZooKeeper提供了一个Leader Election机制，利用这个机制可以保证虽然集群存在多个Master但是只有一个是Active的，...
基于zookeeper的hadoop HA实现
热门推荐
everl_1的专栏
08-24 1万+
非HA集群的弊端 HDFS集群的分布式存储是靠namenode节点（namenode负责响应客户端请求）来实现。在非HA集群中一旦namenode宕机，虽然元数据不会丢失，但整个集群将无法对外提供服务，导致HDFS服务的可靠性不高。 HA机制 上述分析可知导致服务可靠性不高的原因是namenode节点宕机，那么怎么才能避免这个namenode节点宕机导
node-zookeeper-client 心跳如何实现的
07-13
在node-zookeeper-client中，心跳通过以下方式实现： 1. 初始化连接时发送心跳：当客户端与ZooKeeper服务器建立连接时，会发送一个初始化请求并开始发送心跳。这个心跳请求包含客户端的元数据信息，例如会话ID和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值