Zookeeper
文章平均质量分 57
u013063153
这个作者很懒,什么都没留下…
展开
-
ZooKeeper概述
分布式:把一个计算任务分解成若干个计算单元,并且分派到若干台计算机上去执行计算,再将计算结果汇总。ZooKeeper是源码开放的分布式协调服务。ZooKeeper是一个高性能的分布式数据一致性解决方案,它将那些复杂的、容易出错的分布式一致性服务封装起来,构成一个高效可靠的原语集,并提供一些简单易用的接口供用户使用。ZooKeeper分布式协调服务:-顺序一致性-原创 2016-11-11 16:05:58 · 339 阅读 · 0 评论 -
Zookeeper入门概述
zookeeper包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。zookeeper提供通用的分布式锁服务,用以协调分布式应用。zookeeper优点:1.最终一致性(CAP原则)为客户端展示同一个视图,这是zookeeper一个非常重要的功能。2.可靠性如果消息被一台服务器接受,那么它将被所有的服务器接受。3.实时性原创 2017-07-04 22:01:00 · 486 阅读 · 0 评论 -
Zookeeper learner(follower和obverser)的配置
vim conf/zoo.cfgserver.1=node1:2888:3888server.2=node2:2888:3888server.3=node3:2888:38882888端口是server和leader进行交流的端口3888端口是leader挂了后,各个server之间进行交流的端口如果要把observer加上,则配置变为:se原创 2017-07-04 23:26:01 · 1367 阅读 · 0 评论 -
Zookeeper集群搭建与启动
先关闭防火墙service iptables stop检查日期date1.将zookeeper安装包移动到/home/目录下mv zookeeper-3.4.6 /home/2.在conf目录下vim zoo.cfgtickTime=2000dataDir=/opt/zookeeperclientPort=2181initLimit=5原创 2017-06-24 00:34:11 · 1345 阅读 · 0 评论 -
Zookeeper的数据模型
层次化的目录结构,命名符合常规文件系统规范。每个节点在zookeeper中叫做Znode,并且其有一个唯一的路径标识。(子节点其实就是子目录)节点Znode可以包含数据和子节点,但是EPHEMERAL类型的节点不能有子节点。Znode中的数据可以有多个版本,比如某一个路径下存有多个数据版本,那么查询这个路径下的数据就需要带上版本。客户端应用可以在节点上设置监视器(watch)。原创 2017-07-04 23:15:57 · 552 阅读 · 0 评论 -
Zookeeper的watcher
Watcher 在ZooKeeper 是一个核心功能,Watcher 可以监控目录节点的数据变化以及子目录的变化,一旦这些状态发生变化,服务器就会通知所有设置在这个目录节点上的Watcher,从而每个客户端都很快知道它所关注的目录节点的状态发生变化,而做出相应的反应可以设置观察的操作:exists, getChildren, getData可以触发观察的操作:create,dele原创 2017-07-05 00:00:04 · 320 阅读 · 0 评论 -
Zookeeper jps没有QuarumPeermain但是运行启动命令时,总是报已经启动
这多数是非正常关机引起的。解决方案是:删除zoo.cfg配置中dataDir目录下的zookeeper_server.pid原创 2017-07-05 00:13:43 · 7013 阅读 · 5 评论 -
apache kafka系列之在zookeeper中存储结构
原文:http://blog.csdn.net/lizhitao/article/details/237446751.topic注册信息/brokers/topics/[topic] :存储某个topic的partitions所有分配信息Schema:{ "version": "版本编号目前固定为数字1",转载 2017-06-27 15:28:35 · 429 阅读 · 0 评论 -
znode节点创建
原文:http://www.hollischuang.com/archives/1280节点Znode有四种类型,PERSISTENT(持久节点)、PERSISTENT_SEQUENTIAL(持久的连续节点)、EPHEMERAL(临时节点)、EPHEMERAL_SEQUENTIAL(临时的连续节点)Znode的类型在创建时确定并且之后不能再修改临时节点转载 2017-07-16 10:58:19 · 1500 阅读 · 0 评论 -
Zookeeper的配置文件zoo.cfg参数解释
在conf目录下创建一个配置文件zoo.cfgtickTime=2000dataDir=/user/zookeeper/datadataLogDir=/users/zookeeper/dataLogclientPort=2181initLimit=5syncLimit=2server.1=server1:2888:3888server.2=server2:2888:原创 2017-07-04 22:12:09 · 1686 阅读 · 0 评论 -
Zookeeper的角色
leader:负责投票的发起和决议,更新系统状态。learner:包括follower和observerfollower用户接受客户端请求并向客户端返回结果,在选举过程中参与投票。observer:可以接受客户端连接,将写请求转发给leader,但observer不参加投票过程,只同步leader的状态,observer的目的是为了扩展系统,提高读取速度。原创 2017-07-04 22:30:37 · 600 阅读 · 0 评论 -
Zookeeper原子广播Zab
zookeeper的原子广播Zookeeper的核心是原子广播,这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式,它们分别是恢复模式(选主)和广播模式(同步)。当服务启动或者在领导者崩溃后,Zab就进入了恢复模式,当领导者被选举出来,且大多数Server完成了和leader的状态同步以后,恢复模式就结束了。状态同步保证了leader和Server原创 2017-07-04 22:59:58 · 636 阅读 · 0 评论 -
ZooKeeper的基本概念
集群角色:Leader,Follower,ObserverLeader服务器是整个ZooKeeper集群工作机制中的核心Follower服务器是ZooKeeper集群状态的跟随者Observer服务器充当一个观察者会话:客户端和ZooKeeper服务器之间的连接,ZooKeeper中的会话叫Session,客户端靠与服务器建立一个TCP长连接来维持一个Session原创 2016-11-11 16:37:40 · 517 阅读 · 0 评论 -
分布式服务框架 Zookeeper -- 日志配置
原文:http://www.voidcn.com/blog/xyang81/article/p-6258996.htmlZookeeper在启动的时候,默认会在当前运行zkServer.sh命令的目录生成一个zookeeper.out日志文件,从日志中可以看到客户端的连接请求、发送的命令等信息,虽然从这个文件中也能查看日志,但不利于管理和维护。默认生成的日志文件如下图所示:转载 2017-04-14 10:20:22 · 562 阅读 · 0 评论 -
Storm在Zookeeper中的目录结构
Posted by WeYo. 转载请注明出处:http://weyo.me/pages/techs/storm-with-zookeeper/本文主要参考自 xumingming 的博文 Twitter Storm源代码分析之ZooKeeper中的目录结构。由于新版本的 Storm 在架构上有了较大的变化,相应的目录结构也有了一些改变。本文主要针对 0.9.x 版本的 Sto转载 2017-05-15 14:36:29 · 1597 阅读 · 0 评论 -
Zookeeper 初体验之——JAVA API 初探
原文:http://www.cnblogs.com/haippy/archive/2012/07/19/2600032.html简介Apache Zookeeper 是由 Apache Hadoop 的 Zookeeper 子项目发展而来,现在已经成为了 Apache 的顶级项目。Zookeeper 为分布式系统提供了高效可靠且易于使用的协同服务,它可以为分布式应用提供相当转载 2017-05-19 10:13:24 · 1075 阅读 · 0 评论 -
Zookeeper 初体验之——JAVA实例
原文:http://www.cnblogs.com/haippy/archive/2012/07/20/2600077.html简介Apache Zookeeper 是由 Apache Hadoop 的 Zookeeper 子项目发展而来,现在已经成为了 Apache 的顶级项目。Zookeeper 为分布式系统提供了高效可靠且易于使用的协同服务,它可以为分布式应用提供相当转载 2017-05-19 12:48:24 · 320 阅读 · 0 评论 -
聊一聊分布式锁的设计
原文:http://weizijun.cn/2016/03/17/%E8%81%8A%E4%B8%80%E8%81%8A%E5%88%86%E5%B8%83%E5%BC%8F%E9%94%81%E7%9A%84%E8%AE%BE%E8%AE%A1/起因前段时间,看到redis作者发布的一篇文章《Is Redlock safe?》,Redlock是redis作者基转载 2017-05-21 21:06:24 · 458 阅读 · 0 评论 -
后台启动zookeeper
nohup ./zkServer.sh start >> /opt/zookeeper.file 2>&1 &原创 2017-06-08 10:03:08 · 7711 阅读 · 0 评论 -
Hadoop2.5 HA搭建说明
四台机器:hadoop1,hadoop2,hadoop3,hadoop4 NNDNZKZKFCJNRMNM(任务管理)Hadoop1Y YY Hadoop2原创 2017-06-24 12:57:51 · 425 阅读 · 0 评论 -
HDFS集群搭建(HA)与启动
在文章http://blog.csdn.net/u013063153/article/details/73611549写到了非HA集群的搭建。现利用Zookeeper做HA,搭建HDFS集群。需要修改之前的配置。1.进入etc/hadoop/目录,干掉masters文件(此文件是存放Secondary NameNode的)cd etc/hadoop/rm -rf /home/had原创 2017-06-24 12:29:33 · 1363 阅读 · 0 评论