zookeeper
大数据面壁者
大数据相关知识分享,框架底层原理机制,生产学习中遇到的相关问题分享,共同学习,共同进步。
展开
-
Zookeeper选举机制之Paxos算法
Zookeeper选举机制之Paxos算法 Paxos算法一种基于消息传递且具有高度容错特性的一致性算法。 分布式系统中的节点通信存在两种模型:共享内存(Shared memory)和消息传递(Messages passing)。基于消息传递通信模型的分布式系统,不可避免的会发生以下错误:进程可能会慢、被杀死或者重启,消息可能会延迟、丢失、重复,在基础 Paxos 场景中,先不考虑可能出现消息篡改即拜占庭错误的情况。Paxos 算法解决的问题是在一个可能发生上述异常的分布式系统中如何就某个值达成一致,保证原创 2020-11-23 20:49:25 · 577 阅读 · 0 评论 -
Zookeeper内部原理总结
Zookeeper内部原理 一、节点类型 二、Stat结构体 czxid-创建节点的事务zxid 每次修改ZooKeeper状态都会收到一个zxid形式的时间戳,也就是ZooKeeper事务ID。 事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid,如果zxid1小于zxid2,那么zxid1在zxid2之前发生。 ctime - znode被创建的毫秒数(从1970年开始) mzxid - znode最后更新的事务zxid mtime - znode最后修改的毫秒数(从1970原创 2020-11-23 20:26:01 · 157 阅读 · 0 评论 -
使用Zookeeper监听服务器节点动态上下线案例
使用Zookeeper监听服务器节点动态上下线案例 一、服务器端代码 package com.hadoop.online; import org.apache.zookeeper.*; import org.apache.zookeeper.data.Stat; import java.io.IOException; /* 服务器端 :一旦运行需要在zookeeper中创建临时节点 思路: 1.创建客户端对象 2.判断servers节点是否存在如果不存在原创 2020-11-23 20:02:11 · 262 阅读 · 0 评论 -
Zookeeper客户端操作(使用IDEA进行编程)
Zookeeper客户端操作 一、IDEA环境搭建 1.1 创建一个Maven工程 1.2 添加pom文件 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version> </dependency> <depe原创 2020-11-23 19:49:46 · 476 阅读 · 0 评论 -
Zookeeper分布式安装部署及配置参数解读
Zookeeper分布式安装部署及配置参数解读 一、分布式安装部署 1.1 集群规划 在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。 1.2 解压安装 (1)上传Zookeeper安装包至/opt/software目录下 Zookeeper下载地址:https://zookeeper.apache.org/ (2)解压Zookeeper安装包到/opt/module/目录下 [hadoop@hadoop102 software]$ tar -zxvf原创 2020-11-23 19:13:41 · 221 阅读 · 0 评论