Zookeeper
文章平均质量分 75
zookeeper
CyAuroras
这个作者很懒,什么都没留下…
展开
-
HDFS的HA
目录一、相关进程二、HA的配置2.1修改hdfs-site.xml⾥2.2在core-site.xml⽂件⾥修改部分属性2.3将配置信息分发到其他节点上三、HA的启动3.1 第⼀种情况:集群使⽤⼀段时间后,转为HA.3.2第⼆种情况:搭建集群时,直接搭建HA一、相关进程1.QuorumPeerMain:zookeeper服务组件对应的进程 2.JournalNode:qjm对应的守护进程 3.DFSZKFailoverController:z.原创 2021-07-31 15:09:39 · 275 阅读 · 0 评论 -
HA的⾃动容灾原理
一、组件如果想进⾏HA的⾃动故障转移,那么需要为HDFS部署两个新组件ZooKeeper quorumZKFailoverController进程(缩写为ZKFC)。1.1 Zookeeper quorumApache ZooKeeper是⼀项⾼可⽤性服务,⽤于维护少量的协调数据,将数据中的更 改通知客户端并监视客户端的故障。HDFS⾃动故障转移的实现依赖ZooKeeper进⾏ 以下操作:1 )故障检测 ...原创 2021-07-31 14:38:12 · 327 阅读 · 0 评论 -
HA的介绍
一、HA(high availability)的使⽤原因1. 问题所在: - 计划外的事件,⽐如:单点故障(SPOF) - 计划内的事件,⽐如:namenode上的硬件或软件升级 2. 解决办法: - 使⽤两个Namenode: ⼀个是正在⼯作的namenode,可以称之为Active节点;另外⼀个namenode 充当备份节点,称之为Standby 节点;当Active节点不能使⽤了...原创 2021-07-31 14:20:13 · 1775 阅读 · 0 评论 -
Zookeeper的API
目录ZooKeeper API 简介JAVA API简单使用引入maven坐标配置Zookeeper对象常用API操作监听器的使用ZooKeeper API 简介ZooKeeper API 共包含 5 个包,分别为:org.apache.zookeeperorg.apache.zookeeper.dataorg.apache.zookeeper.serverorg.apache.zookeeper.server.quorumorg.apache...原创 2021-07-31 11:57:35 · 281 阅读 · 0 评论 -
Zookeeper的客户端操作
一、zookeeper客户端的命令解释linu帮助命令解释[zk: localhost:2181(CONNECTED) 0] help 帮助命令ZooKeeper -server host:port cmd args 注意:直接执⾏zkCli.sh 默认连接的是localhost:2181 本地的zookeeper服 务器,想连接其他的服务器两种⽅式:zkCli.sh -server master:2181 或者 先通过zkCli.sh连接到本地的服务器 再使⽤connect mas.原创 2021-07-31 11:45:29 · 915 阅读 · 0 评论 -
Zookeeper的读写数据流程
一、写数据流程1. Client向Zookeeper的server1上写数据,发送⼀个写请求 2. 如果server1不是leader,那么server1会把请求进⼀步转发给leader。 3. 这个leader会将写请求⼴播给所有server。 4. 各个Server写成功后就会通知leader。 5. 当leader收到半数以上的server写成功的通知,就说明数据写成功了。写成功后, leader会告诉server1数据写成功了。 6. ser.原创 2021-07-31 11:18:02 · 996 阅读 · 0 评论 -
Zookeeper的监听原理
监听事件zookeeper的监听事件有四种 1. nodedatachanged 节点数据改变 2.nodecreate 节点创建事件 3.nodedelete 节点删除事件 4.nodechildrenchanged 子节点改变事件图解:1. ⾸先要有⼀个main()线程2. 在main线程中创建Zookeepe...原创 2021-07-31 11:11:43 · 515 阅读 · 0 评论 -
Zookeeper的选举制度
说明1. 基于节点在半数以上才能正常服务的要求,Zookeeper适合装在奇数台机器。 2. Zookeeper没有在配置⽂件中指定leader和follower,⽽是使⽤算法(Paxos) 在内部通过选举机制来选择⼀个节点为leader,其他节点为follower。 概念数据ID(zxid )服务器中存放的最⼤数据ID。值越⼤说明数据越新,在选举算法中的权重越⼤服务器ID(serverid)比如有三台服务器,编号分别是1,2,3。编号越大在选择算法中的权重越大原创 2021-07-31 11:02:20 · 103 阅读 · 0 评论 -
Zookeeper的概述
目录下载地址Zookeeper的由来Zookeeper是什么Zookeeper的特点ZooKeeper集群的角色Zookeeper的数据模型下载地址官网首页:https://zookeeper.apache.org/Zookeeper的由来Zookeeper最早起源于雅虎研究院的一个研究小组。在当时,研究人员发现,在雅虎内部很多大型系统基本都需要依赖一个类似的系统来进行分布式协调,但是这些系统往往都存在分布式单点问题。所以,雅虎的开发人员就试图开发一个通用的无单点原创 2021-07-31 10:45:52 · 74 阅读 · 0 评论