Zookeeper
文章平均质量分 86
weixin_42073629
这个作者很懒,什么都没留下…
展开
-
Paxos VS Raft,谁才是王者
目录 Raft 基础 选举 日志复制 脑裂情况 大名鼎鼎的 Paxos 算法可能不少人都听说过,几乎垄断了一致性算法领域,在 Raft 协议诞生之前,Paxos 几乎成了一致性协议的代名词。但是对于大多数人来说,Paxos 算法太难以理解了,而且难以实现。因此斯坦福大学的两位教授 Diego Ongaro 和 John Ousterhout 决定设计一种更容易理解的一致性算法,最终提出了 Raft 算法!Raft 是一种更为简单方便易于理解的分布式算法,主要解转载 2022-04-10 15:52:54 · 239 阅读 · 0 评论 -
Zookeeper Api(java)与应用
如何使用Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储,但是 Zookeeper 并不是用来专门存储数据的,它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达到基于数据的集群管理,后面将会详细介绍 Zookeeper 能够解决的一些典型问题,这里先介绍一下,Zookeeper 的操作接口和简单使用示例。常用接口列表客户端要连接 Zookeeper 服务器可以通原创 2021-06-06 09:29:55 · 154 阅读 · 0 评论 -
zookeeper的Windows安装和使用
本文介绍的 Zookeeper 是以 3.4.12这个稳定版本为基础,最新的版本可以通过官网http://hadoop.apache.org/zookeeper/来获取,Zookeeper 的安装非常简单,下面将从单机模式和集群模式两个方面介绍 Zookeeper 的Windows安装和配置.CSDN下载地址:http://download.csdn.net/detail/javadxz/7484051首先需要安装JdK,从Oracle的Java网站下载,安装很简单,就不再详述。单机模式..原创 2021-06-06 09:12:41 · 210 阅读 · 0 评论 -
Zookeeper原生Java API、ZKClient和Apache Curator对比
zookeeper 常用的3种java客户端:zookeeper原生Java API ZkClient Apache curator1、zookeeper原生Java APIZookeeper客户端提供了基本的操作,比如,创建会话、创建节点、读取节点、更新数据、删除节点和检查节点是否存在等。但对于开发人员来说,Zookeeper提供的基本操纵还是有一些不足之处。Zookeeper API不足之处(1)Session超时之后没有实现重连机制,需要手动操作;(2)Watcher注册是一次翻译 2021-03-26 05:27:28 · 175 阅读 · 0 评论 -
CentOS7.5搭建Zookeeper3.4.12集群与命令行操作
一. 分布式安装部署1.0 下载地址官网首页:https://zookeeper.apache.org/下载地址:http://mirror.bit.edu.cn/apache/zookeeper/1.1 集群规划在node21、node22和ode23三个节点上部署Zookeeper,三个节点都已安装jdk。IP 节点名称 Zookeeper JDK 192.168.100.21 node21 Zookeeper JDK 192...原创 2020-10-03 00:41:17 · 164 阅读 · 0 评论 -
Zookeeper原理与API应用
一 Zookeeper概述1.1 概述Zookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、 分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。1.2 特点1)Zookeeper:一个领导者(leader),多个跟随者(follower)组成的集群。2)Leader负责进行投票的发起和决议,更新系统状态3)Fo原创 2020-10-03 00:40:47 · 137 阅读 · 0 评论 -
Zookeeper单机环境和集群环境搭建
一、单机环境搭建1.1 下载下载对应版本 Zookeeper,这里我下载的版本3.4.14。官方下载地址:https://archive.apache.org/dist/zookeeper/# wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz1.2 解压tar -zxvf zookeeper-3.4.14.tar.gz1.3 配置环境变量vi...原创 2020-08-07 01:46:01 · 132 阅读 · 0 评论 -
基于 ZooKeeper 搭建高可用Spark集群搭建
一、集群规划这里搭建一个 3 节点的 Spark 集群,其中三台主机上均部署Worker服务。同时为了保证高可用,除了在 hadoop001 上部署主Master服务外,还在 hadoop002 和 hadoop003 上分别部署备用的Master服务,Master 服务由 Zookeeper 集群进行协调管理,如果主Master不可用,则备用Master会成为新的主Master。二、前置条件搭建 Spark 集群前,需要保证 JDK 环境、Zookeeper 集群和 ...原创 2020-08-13 23:58:44 · 184 阅读 · 0 评论 -
基于 ZooKeeper 搭建 Kafka 高可用集群
一、Zookeeper集群搭建为保证集群高可用,Zookeeper 集群的节点数最好是奇数,最少有三个节点,所以这里搭建一个三个节点的集群。1.1 下载 & 解压下载对应版本 Zookeeper,这里我下载的版本3.4.14。官方下载地址:https://archive.apache.org/dist/zookeeper/# 下载wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.原创 2020-08-11 23:43:10 · 441 阅读 · 0 评论 -
基于 ZooKeeper 搭建 Hadoop 高可用集群
一、高可用简介Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多,所以它的实现也更加复杂,故下面先进行讲解:1.1 高可用整体架构HDFS 高可用架构如下:图片引用自:https://www.edureka.co/blog/how-to-set-up-hadoop-cluster-with-hdfs-hi原创 2020-08-11 23:18:13 · 341 阅读 · 0 评论 -
ZooKeeper实现分布式锁
zookeeper客户端选型 原生zookeeper客户端,有watcher一次性、无超时重连机制等一系列问题 ZkClient,解决了原生客户端一些问题,一些存量老系统中还在使用 curator,提供了各种应用场景(封装了分布式锁,计数器等),新项目首选 分布式锁使用场景在单体项目中jvm中的锁即可完成需要,但是微服务、分布式环境下,同一个服务可能部署在多台服务器上,多个jvm之间无法通过常用的jvm锁来完成同步操作,需要借用分布式锁来完成上锁、释放锁。例如在订单服务中,原创 2020-08-08 11:08:16 · 133 阅读 · 0 评论 -
ZooKeeper--ACL权限控制
一、前言为了避免存储在 Zookeeper 上的数据被其他程序或者人为误修改,Zookeeper 提供了 ACL(Access Control Lists) 进行权限控制。只有拥有对应权限的用户才可以对节点进行增删改查等操作。下文分别介绍使用原生的 Shell 命令和 Apache Curator 客户端进行权限设置。二、使用Shell进行权限管理2.1 设置与查看权限想要给某个节点设置权限 (ACL),有以下两个可选的命令:# 1.给已有节点赋予权限 setAcl path acl原创 2020-08-07 23:07:04 · 1402 阅读 · 0 评论 -
Java 客户端 Apache Curator
一、基本依赖Curator 是 Netflix 公司开源的一个 Zookeeper 客户端,目前由 Apache 进行维护。与 Zookeeper 原生客户端相比,Curator 的抽象层次更高,功能也更加丰富,是目前 Zookeeper 使用范围最广的 Java 客户端。本篇文章主要讲解其基本使用,项目采用 Maven 构建,以单元测试的方法进行讲解,相关依赖如下:<dependencies> <!--Curator 相关依赖--> <depende原创 2020-08-07 02:04:20 · 354 阅读 · 0 评论 -
Zookeeper常用Shell命令
一、节点增删改查1.1 启动服务和连接服务# 启动服务bin/zkServer.sh start#连接服务 不指定服务地址则默认连接到localhost:2181zkCli.sh -server hadoop001:21811.2 help命令使用help可以查看所有命令及格式。1.3 查看节点列表查看节点列表有ls path和ls2 path两个命令,后者是前者的增强,不仅可以查看指定路径下的所有节点,还可以查看当前节点的信息。[zk: localhost:218.原创 2020-08-07 01:54:16 · 694 阅读 · 0 评论 -
Spring Cloud 配置中心 ZooKeeper 入门
1. 概述在《 ZooKeeper 极简入门》文章中,我们一起完成了 ZooKeeper 的学习,并完成了 ZooKeeper 服务器的搭建。本文我们来学习Spring Cloud ZooKeeper提供的spring-cloud-zookeeper-config组件,接入 Zookeeper 作为配置中心,实现服务的统一配置管理。2. 快速入门示例代码对应仓库:labx-26-sc-zookeeper-config-demo。本小节,我们会在 ZooKeeper 服务中定义...原创 2020-06-20 23:07:09 · 1164 阅读 · 1 评论 -
Spring Cloud 注册中心 ZooKeeper 入门
1. 概述在《ZooKeeper 极简入门》文章中,我们一起完成了 ZooKeeper 的学习,并完成了 ZooKeeper 服务器的搭建。本文我们来学习Spring Cloud ZooKeeper提供的spring-cloud-zookeeper-discovery组件,基于 Spring Cloud 的编程模型,接入 ZooKeeper 作为注册中心,实现服务的注册与发现。2. 注册中心原理在开始搭建 ZooKeeper Discovery 的示例之前,我们先来简单了解下注册中心...原创 2020-06-20 22:07:58 · 683 阅读 · 0 评论 -
Zookeeper 极简入门
1. 概述ZooKeeper 是一个开放源码的分布式协调服务,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终,将简单易用的接口和性能高效、功能稳定的系统提供给用户。分布式应用程序可以基于 Zookeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。Zookeeper 具有如下特性:① 顺序一致性(有序性)从同一个客户端发起的事务请求,最终将会严格地按照其发起顺序被应用到原创 2020-06-20 22:01:26 · 277 阅读 · 0 评论