zookeeper
z
車輪の唄
atarik@163.com
展开
-
应用zk实现集群选主
在实际使用ZooKeeper开发中,我们最常用的是Apache Curator。 它由Netflix公司贡献给Apache,目前版本2.7.0。相信你在使用ZK API开发时会遇到让人头疼的几个问题,ZK连接管理、SESSION失效等一些异常问题的处理,Curator替我们解决了这些问题,通过对ZK连接状态的监控来做出相应的重连等操作,并触发事件。更好的地方是Curator对ZK的一些应用场景...原创 2020-03-06 22:27:23 · 384 阅读 · 0 评论 -
zookeeper 小结
1. zk启动异常通过zookeeper.out文件查看, 该文件在启动命令的执行文件夹下, 所以一般在bin层文件夹下执行启动名利 bin/zkServer.sh start2. 启动命令的位置也决定了zoo.cfg配置中的相对路径位置3. myid文件位于data文件夹下, 而data文件夹位置由dataDir在配置文件中指定, 而这里data的位置也由zk的启动命令运行时文件路径决定原创 2017-10-23 10:40:54 · 315 阅读 · 0 评论 -
zookeeper在solrcloud中的应用
在Solr中,一个索引的实例称之为Core,而在SolrCloud中,一个索引的实例称之为Shard;Shard 又分为leader和replica。1. SolrCloud的特质作为分布式搜索引擎的SolrCloud具有以下几个特质:可扩展性 所谓的可扩展性就是指可以通过扩大集群的规模来实现性能的提升。有两种方式来实现可扩展性,一种是纵向扩展,即加快CP原创 2017-05-14 14:08:44 · 1976 阅读 · 0 评论 -
zookeeper-1
1.采用的一致性协议ZAB(zookeeper atomic broadcast)2.zookeeper用来保证分布式系统中的数据一致性问题, 包括:顺序一致性, 原子性, 单一视图, 可靠性, 实时性3.zk包含的基本概念:集群角色, 会话(session), 数据节点(znode), 版本, 事件监听器(watcher), ACL(权限控制)4.zk的可执行脚本5.客户端脚...原创 2017-09-05 09:44:31 · 281 阅读 · 0 评论 -
zookeeper-2 ZAB协议
zk如果是单点服务, 则不涉及到分布式同步协议的问题, 所有的数据都有一个节点处理即可, 该节点用来同步客户端分布式集群中的消息同步, 然而单点是不可靠的, zk本身也要实现分布式集群以保证高可用高并发的特性. 所以zk自身的分布式集群间的数据同步问题采用了ZAB协议实现, 而对客户端而言, 一个zk集群被视为一个稳定运行的单节点即可简言之, zk的分布式数据一致性问题依靠ZAB协议实现, 而...原创 2017-09-05 10:13:26 · 359 阅读 · 0 评论 -
zookeeper-4 watcher
zookeeper实现了分布式数据的发布订阅功能, 当一个主题对象发生变更时, 会通知给所有的订阅者, 使订阅者做出相应的处理.zookeeper发布订阅功能的实现是依靠watcher机制来实现的.简单来说, 客户端向服务器注册watcher, 客户端存储watcher, 主体对象发生变化服务器向客户端发送通知, 客户端主动从服务端拉取数据并处理1. watcher接口用来表示一个原创 2017-09-06 16:52:36 · 427 阅读 · 0 评论 -
zookeeper-3
1. 每个znode上可以保存数据, 同时还可以挂载子节点, 因此构成一个层次化的命名空间, 被称之为树2. 在zk中, 事务只是能够改变服务器状态的操作, 每一个事务请求zk都会分配一个全局唯一的事务id3. znode分为持久节点, 临时节点, 顺序节点, 其中临时节点只能作为叶子节点4. znode节点stat描述第一行:该节点下的数据czxid: 该节点创建时的原创 2017-09-06 13:59:59 · 231 阅读 · 0 评论 -
zookeeper在storm集群中的应用
1. 心跳检测, 存储supervisor和worker的心跳(包括它们的状态),使得nimbus可以监控整个集群的状态, 从而重启一些挂掉的worker;2. 提交任务3. 存储整个集群的所有状态信息, 供ui显示4. storm在zk上的存储结构/-{storm-zk-root} -- storm在zookeeper上的根目录(默认为原创 2017-09-05 20:16:48 · 2374 阅读 · 0 评论