Zookeeper
黑猴子的家
拥有技术,便拥有自由
B站 Up主专注于技术 https://space.bilibili.com/398602910
展开
-
黑猴子的家:IntelliJ IDEA 在线安装 Zookeeper 插件
1、File -> Settings -> Plugins -> zookeeper -> Search2、Install原创 2018-10-24 14:49:00 · 276 阅读 · 0 评论 -
黑猴子的家:Zookeeper 监听ZK服务器节点动态上下线案例
1、Code -> GitHubhttps://github.com/liufengji/zookeeper_code.git2、需求某分布式系统中,主节点可以有多台,可以动态上下线,任意一台客户端都能实时感知到主节点服务器的上下线3、需求分析4、先在集群上创建/servers节点[zk: localhost:2181(CONNECTED) 10] create ...原创 2018-09-27 13:44:00 · 470 阅读 · 2 评论 -
黑猴子的家:Zookeeper 在线迁移
在至少有一个Leader存在的前提下,进行Zookeeper的在线增量、在线减量、在线迁移在全过程中ZooKeeper不停止服务1、 注意事项首先,当我们要从3台扩充到5台时,应保证集群不停止服务。3台不停止服务的最低限度是2台(X/2+1),而5台的最低限度是3台。我们应该保证,集群中最低有3台ZooKeeper是启动的。此外,重启时应保证先重启myid最小的机器,由小向大进行重...原创 2018-09-27 15:24:00 · 381 阅读 · 0 评论 -
黑猴子的家:Zookeeper 在线数据迁移
在不停机的情况下,实现集群之间数据迁移代码private void create(ZooKeeper zk1, ZooKeeper zk2, String path) throws Exception { List<String> list = zk1.getChildren(path, null); for (String str : l...原创 2018-09-27 15:27:00 · 172 阅读 · 0 评论 -
黑猴子的家:Hue 与 Zookeeper 集成
1、修改hue.ini配置文件位置:/opt/module/cdh/hue-3.7.0-cdh5.3.6/desktop/conf/hue.ini找到[zookeeper]标签,涉及修改如下[root@node1 conf]$ vim hue.ini[zookeeper][[clusters]][[[default]]]host_ports=hadoop102:2181,had...原创 2018-09-14 14:50:00 · 175 阅读 · 0 评论 -
黑猴子的家:Zookeeper 单机模式
1、下载地址https://zookeeper.apache.org/releases.htmlhttp://archive.apache.org/dist/zookeeper/2、安装前准备(1)安装jdk,并且是Java6以上版本(2)通过filezilla工具拷贝Zookeeper到linux系统下(3)修改tar包权限[victor@node1 software]...原创 2018-09-05 15:27:00 · 104 阅读 · 0 评论 -
黑猴子的家:Zookeeper 伪分布模式
1、安装Zookeeper将Zookeeper安装文件解压到相应目录下,并配置环境变量,步骤参考单机模式$https://www.jianshu.com/p/3b680a192c6c2、建立配置文件在安装目录的conf文件夹下分别新建三个配置文件 zoo1.cfg、zoo2.cfg、zoo3.cfg[victor@node1 ~]$ cd /opt/module/zook...原创 2018-09-05 15:39:00 · 152 阅读 · 0 评论 -
黑猴子的家:Zookeeper 集群模式
1、集群规划在node1 node2 node3 三个节点服务器上部署Zookeepernode1 node2 node3 Zookeeper Zookeeper Zookeeper 2、配置主机名映射[victor@node1 ~]$ sudo vim /etc/hosts192.168.2.101 node1192.168.2.102 node...原创 2018-09-05 16:02:00 · 192 阅读 · 0 评论 -
黑猴子的家:Zookeeper 自动删除日志配置
1、背景在使用zookeeper过程中,我们知道,会有dataDir和dataLogDir两个目录,分别用于snapshot和事务日志的输出(默认情况下只有dataDir目录,snapshot和事务日志都保存在这个目录中,正常运行过程中,ZK会不断地把快照数据和事务日志输出到这两个目录,并且如果没有人为操作的话,ZK自己是不会清理这些文件的,需要管理员来清理,这里介绍4种清理日志的方法...原创 2018-09-05 16:18:00 · 864 阅读 · 0 评论 -
黑猴子的家:Zookeeper Java API
1、Code -> GitHubhttps://github.com/liufengji/zookeeper_code.git2、环境准备1)创建一个工程2)解压zookeeper-3.4.10.tar.gz文件3)拷贝zookeeper-3.4.10.jar、jline-0.9.94.jar、log4j-1.2.16.jar、netty-3.10.5.Final.jar、s...原创 2018-09-27 13:39:00 · 133 阅读 · 0 评论 -
黑猴子的家:Zookeeper 客户端命令行操作
命令基本语法 功能描述 help 显示所有操作命令 ls path [watch] 使用 ls 命令来查看当前znode中所包含的内容 ls2 path [watch] 查看当前节点数据并能看到更新次数等数据 create 普通创建 -s 含有序列 -e 临时(重启或者超时消失) get path [watch] 获得节点...原创 2018-09-27 13:29:00 · 210 阅读 · 0 评论 -
黑猴子的家:Zookeeper 监听器原理
1、监听原理详解:1)首先要有一个main()线程2)在main线程中创建Zookeeper客户端,这时就会创建两个线程,一个负责网络连接通信(connet),一个负责监听(listener)。3)通过connect线程将注册的监听事件发送给Zookeeper。4)在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中。5)Zookeeper监听到有数据或路径变...原创 2018-09-27 13:01:00 · 275 阅读 · 1 评论 -
黑猴子的家:IntelliJ IDEA 离线安装 Zookeeper 插件
1、插件下载网址http://plugins.jetbrains.com/plugin/73642、下载对应版本的插件3、从本地安装插件导入后可以在Plugins列表的最下方找到zookeeper,要使用的话还必须重启idea4、配置zookeeper插件5、使用zookeeper插件6、废话连篇的来总结一下试用后感觉开发中使用确实...原创 2018-10-24 14:57:00 · 606 阅读 · 0 评论 -
黑猴子的家: Eclipse 安装 Zookeeper 插件
1、Help -> Install New Software2、Add3、添加链接 -> Addhttp://www.massedynamic.org/eclipse/updates/4、Plug-in for Zookeeper 3.2.2 -> Next5、-> Next6、I accept the terms of th...原创 2018-10-24 13:15:00 · 168 阅读 · 0 评论 -
黑猴子的家:Zookeeper 插件 ZooInspector 的使用
1、ZooInspector 插件下载https://github.com/liufengji/ZooInspector.git2、ZooInspector 插件解压3、build目录发现 zookeeper-dev-ZooInspector.jar4、右键运行5、右键原创 2018-10-24 13:25:00 · 408 阅读 · 0 评论 -
黑猴子的家:Zookeeper 简介
1、概述Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应,从而实现集群中类似Master/Slave管...原创 2018-09-27 11:37:00 · 166 阅读 · 0 评论 -
黑猴子的家:Zookeeper zoo.cfg 配置参数解读
1、tickTimetickTime:通信心跳数,Zookeeper服务器心跳时间,单位毫秒Zookeeper使用的基本时间,服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个tickTime时间就会发送一个心跳,时间单位为毫秒。它用于心跳机制,并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)2、initLimit...原创 2018-09-27 11:42:00 · 138 阅读 · 0 评论 -
黑猴子的家:Zookeeper 选举机制
1、半数机制半数机制:集群中半数以上机器存活,集群可用。所以zookeeper适合装在奇数台机器上。2、leaderZookeeper虽然在配置文件中并没有指定master和slave。但是,zookeeper工作时,是有一个节点为leader,其他则为follower,Leader是通过内部的选举机制临时产生的3、以一个简单的例子来说明整个选举的过程。假设有五台服务器组成的z...原创 2018-09-27 11:45:00 · 155 阅读 · 0 评论 -
黑猴子的家:Zookeeper 节点类型
1、Znode有两种类型短暂(ephemeral):客户端和服务器端断开连接后,创建的节点自己删除持久(persistent):客户端和服务器端断开连接后,创建的节点不删除2、Znode有四种形式的目录节点(默认是persistent )(1)持久化目录节点(PERSISTENT)客户端与zookeeper断开连接后,该节点依旧存在(2)持久化顺序编号目录节点(PERSISTE...原创 2018-09-27 11:53:00 · 127 阅读 · 0 评论 -
黑猴子的家:Zookeeper stat 结构体
1)czxid- 引起这个znode创建的zxid,创建节点的事务的zxid每次修改ZooKeeper状态都会收到一个zxid形式的时间戳,也就是ZooKeeper事务ID。事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid,如果zxid1小于zxid2,那么zxid1在zxid2之前发生。2)ctime - znode被创建的毫秒数(从1970年开始)3)mz...原创 2018-09-27 11:57:00 · 174 阅读 · 0 评论 -
黑猴子的家:Zookeeper 日志配置
1、修改log4j.properties[victor@node1 conf]$ vim log4j.propertieszookeeper.root.logger=INFO,ROLLINGFILE zookeeper.log.file=zookeeper.log# 按照日期每天输出logslog4j.appender.ROLLINGFILE=org.apache.log4j.D...原创 2018-09-05 16:25:00 · 715 阅读 · 0 评论