Apache Zookeeper原理与实践
文章平均质量分 81
本专栏主要从Zookeeper原理与实践两个方面介绍Zookeeper
铁猴
热爱Java,热爱大数据,热爱技术!
展开
-
使用Ganglia监控Zookeeper
说明Zookeeper是搭建分布式集群中常用的基础工具,所以对其性能的监控就相当重要。虽然可以使用4字命令对Zookeeper进行监控,但是如果可以,还是图形化监控起来更方便一点。本文主要描述如何再Ganglia中增加对Zookeeper的支持 Ganglia版本要求:Ganglia 3.1.x部署下载Git代码:git clone git@github.com:andreisavu/zooke翻译 2017-01-11 17:09:16 · 2308 阅读 · 0 评论 -
在CentOS上安装ZooKeeper集群
创建用户一般我倾向于把需要启动daemon进程,对外提供服务的程序,即服务器类的程序,安装在单独的用户下面。这样可以做到隔离,运维方面,安全性也提高了。创建一个新的group,$ sudo groupadd zookeeper创建一个新的用户,并加入group,$ sudo useradd -g zookeeper zookeeper给新用户设置密码,$ sudo原创 2015-02-27 16:54:01 · 3908 阅读 · 0 评论 -
通过TelnetClient获取Zookeeper监控数据
如果想编写一个监控Zookeeper的Java程序,可以通过两种方式 :(1)通过TelnetClient发送命令 ,命令的详解参考:http://zookeeper.apache.org/doc/trunk/zookeeperAdmin.html#sc_zkCommands(2)通过JMX,说明请参考:http://zookeeper.apache.org/doc/trunk/zooke原创 2015-04-10 16:08:15 · 3357 阅读 · 3 评论 -
Zookeeper 架构学习(一):ACID、Data Replication、CAP与BASE
转载自:http://www.cnblogs.com/hustcat/archive/2010/09/07/1820970.htmlACID在传数据库系统中,事务具有ACID 4个属性(Jim Gray在《事务处理:概念与技术》中对事务进行了详尽的讨论)。(1)原子性(Atomicity):事务是一个原子操作单元,其对数据的修改,要么全都执行,要么全都不执行。(2)一致性(Co转载 2015-05-18 20:07:02 · 1537 阅读 · 0 评论 -
Zookeeper架构学习(二):通过现实世界描述Paxos算法
转载自:http://www.cnblogs.com/endsock/p/3480093.htmlPaxos分析最近研究paxos算法,看了许多相关的文章,概念还是很模糊,觉得还是没有掌握paxos算法的精髓,所以花了3天时间分析了libpaxos3的所有代码,此代码可以从https://bitbucket.org/sciascid/libpaxos 下载。对paxos算法有初转载 2015-05-20 09:17:41 · 1246 阅读 · 0 评论 -
Zookeeper实践之:通过Zookeeper实现一个消费者进程分配程序
背景需要实现一个分布式监控程序,Agent把监控消息发送到Kafka,由消费者进程使用High Level API从Kafka获取消息需求随着Agent数量的增加,每秒产生的消息数量也在增加,考虑到High Level的API使消费者进程与分区的固定关系,所以需要使用Zookeeper来维护一个消费者的集群,使消费者可以根据Kafka分区的数量以及消费者集群的个数,动态的分配每原创 2015-05-24 10:42:35 · 3106 阅读 · 0 评论 -
Zookeeper架构学习(三):开源客户端框架Curator简介
转载自:http://macrochen.iteye.com/blog/1366136Curator是Netflix开源的一套ZooKeeper客户端框架. Netflix在使用ZooKeeper的过程中发现ZooKeeper自带的客户端太底层, 应用方在使用的时候需要自己处理很多事情, 于是在它的基础上包装了一下, 提供了一套更好用的客户端框架. Netflix在用ZooKeeper的过程中转载 2015-05-24 11:00:36 · 1763 阅读 · 1 评论 -
Zookeeper架构学习(四):ZAB协议
ZooKeeper内部有一个in-memory DB,表示为一个树形结构。每个树节点称为Znode(相关的代码在DataTree.java和DataNode.java中)客户端可以连接到zookeeper集群中的任意一台。对于读请求,直接返回本地znode数据。写操作则转换为一个事务,并转发到集群的Leader处理。Zookeeper提交事务保证写操作(更新转载 2015-06-11 18:03:29 · 1318 阅读 · 0 评论 -
Zookeeper 在Hadoop中的应用
Zookeeper 简介Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。Hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节原创 2015-06-23 21:06:25 · 4965 阅读 · 0 评论 -
Zookeeper在Kafka中的应用
Kafka介绍Kafka的介绍可参考:http://blog.csdn.net/eric_sunah/article/details/44201711Zookeeper在Kafka中的使用从上面的介绍可以看出Kafka是一个分布式的消息系统,分布式主要体现在Producer,Broker,Consumer的分布式,下面章节主要讲解Zookeeper如何支持相关对原创 2015-07-15 13:30:18 · 9874 阅读 · 0 评论 -
在Centos 中将zookeeper设置成开机启动
部署了Zookeeper之后,当需要重启机器时,开机后往往需要花一点时间对zookeeper集群进行启动,由于zookeeper没有主节点的概念,且一个节点的重启不会对集群造成什么影像,所以可以考虑把 zookeeper设置成开机启动,具体流程如下准备工作切换到/etc/rc.d/init.d/目录下创建zookeeper文件:touch zookeeper更新权限:chm原创 2015-08-29 15:34:25 · 6195 阅读 · 0 评论