Zookeeper系列
文章平均质量分 91
Zookeeper系列相关的知识点
后端技术那点事
这个作者很懒,什么都没留下…
展开
-
Zookeeper实现Hadoop的高可用集群搭建(七)
1、Hadoop HA 高可用1.1、HDFS-HA 核心问题1.1.1、 怎么保证三台 namenode 的数据一致Fsimage:让一台 nn 生成数据,让其他机器 nn 同步Edits:需要引进新的模块 JournalNode 来保证 edtis 的文件的数据一致性1.1.2、 怎么让同时只有一台 nn 是 active,其他所有是 standby 的手动分配.自动分配1.1.3、 2nn 在 ha 架构中并不存在,定期合并 fsimage 和 edtis 的活谁来干由 s原创 2022-01-03 17:53:20 · 558 阅读 · 2 评论 -
Zookeeper入门详解、集群搭建以及源码解析(六)
21、客户端启动21.1、客户端启动源码解析流程图21.1.1、创建 ZookeeperMain在 ZkCli.sh 启动 Zookeeper 时,会调用 ZooKeeperMain.javaCtrl + n 查找 ZooKeeperMain,找到程序的入口 main()方法public static void main(String args[]) throws CliException, IOException, InterruptedException{ ZooKeeperMa原创 2022-01-02 23:40:50 · 800 阅读 · 0 评论 -
Zookeeper入门详解、集群搭建以及源码解析(五)
18、Follower 和 Leader 状态同步源码当选举结束后,每个节点都需要根据自己的角色更新自己的状态。选举出的 Leader 更新自己状态为 Leader,其他节点更新自己状态为Follower。Leader 更新状态入口:leader.lead()Follower 更新状态入口:follower.followerLeader()注意:(1)follower 必须要让 leader 知道自己的状态:epoch、zxid、sid必须要找出谁是 leader;发起请求连接 leader原创 2022-01-02 23:25:06 · 889 阅读 · 0 评论 -
Zookeeper入门详解、集群搭建以及源码解析(四)
16、Zookeeper服务端加载数据源码解析zk 中的数据模型,是一棵树,DataTree,每个节点,叫做 DataNodezk 集群中的 DataTree 时刻保持状态同步Zookeeper 集群中每个 zk 节点中,数据在内存和磁盘中都有一份完整的数据。内存数据:DataTree磁盘数据:快照文件 + 编辑日志16.1、Zookeeper服务端加载数据源码解析流程图16.2、冷启动数据恢复快照数据1) 启动集群QuorumPeerMain类public static原创 2022-01-02 22:08:00 · 1119 阅读 · 0 评论 -
Zookeeper入门详解、集群搭建以及源码解析(三)
10、Paxos 算法Paxos算法:一种基于消息传递且具有高度容错特性的一致性算法。Paxos算法解决的问题:就是如何快速正确的在一个分布式系统中对某个数据值达成一致,并且保证不论发生任何异常(机器宕机、网络异常),都不会破坏整个系统的一致性。10.1、Paxos算法描述• 在一个Paxos系统中,首先将所有节点划分为Proposer(提议者),Acceptor(接受者),和Learner(学习者)。(注意:每个节点都可以身兼数职)。一个完整的Paxos算法分为三个阶段:Prepare准原创 2021-12-27 15:58:16 · 619 阅读 · 0 评论 -
Zookeeper入门详解、集群搭建以及源码解析(二)
6、服务器动态上下线监听案例6.1、需求某分布式系统中,主节点可以有多台,可以动态上下线,任意一台客户端都能实时感知到主节点服务器的上下线。6.2、 需求分析6.3、具体实现(1) 先在集群上创建/servers 节点[zk: localhost:2181(CONNECTED) 10] create /servers "servers" Created /servers (2) 在 Idea 中创建包名:com.atguigu.zkcase(3) 服务器端向 Zookeeper 注册代码原创 2021-12-26 16:25:38 · 1221 阅读 · 0 评论 -
Zookeeper入门详解、集群搭建以及源码解析(一)
1、Zookeeper 入门1.1、 概述Zookeeper 是一个开源的分布式的,为分布式框架提供协调服务的 Apache 项目。1.2、 特点Zookeeper:一个领导者(Leader),多个跟随者(Follower)组成的集群。集群中只要有半数以上节点存活,Zookeeper集群就能正常服务。所 以Zookeeper适合安装奇数台服务器。全局数据一致:每个Server保存一份相同的数据副本,Client无论连接到哪个Server,数据都是一致的。更新请求顺序执行,来自同一个Clie原创 2021-12-26 12:52:05 · 909 阅读 · 0 评论