【ELFK】之zookeeper

最新推荐文章于 2024-04-30 16:58:56 发布
最新推荐文章于 2024-04-30 16:58:56 发布
阅读量583 收藏 1
点赞数 1
分类专栏： ELK 文章标签： java-zookeeper zookeeper 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_57515995/article/details/126681260
版权

文章目录

一、Zookeeper是什么？

  • ZooKeeper是一种分布式应用所涉及的高可用、高性能且一致性的开源协调服务，

  • 它提供了一项基本服务：分布式锁服务。分布式应用可以基于它实现更高级的服务，实现诸如同步服务、配置维护和集群管理或者命名的服务。

1、Zookeeper服务集群的条件

  • Zookeeper服务自身组成集群，2n+1个（奇数）主机。
  • 在集群中，允许n个主机宕机，只要集群中有一半以上的机器可用，zookeeper集群就可用。
#比如：
1、假如zookeeper为3台机器组成的集群，那么就可以允许失效一台，如果失效了2台，就会导致zookeeper集群不可用。
2、所以在搭建zookeeper集群时，主机数需要为奇数。
3、奇数的目的：为了提高容错能允许多损失一台。

2、Zookeeper工作机制

Zookeeper从设计模式角度来理解

  • 是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已在Zookeeper上注册的那些观察者做出相应的反应。

也就是说Zookeeper=文件系统+通知机制。

  • 文件系统： 就是将存储的数据通过zookeeper的文件系统进行存储到各个节点上。
  • 通知机制： 当某个节点出现故障，zookeeper会将信息通知到客户端上。

总结：每个节点服务器都会在zookeeper中进行注册登记，client也获取当前在线服务器的列表，也会在zookeeper上进行注册登记，client在zookeeper集群上存储的数据。都会通过文件系统分布式存储到各个集群节点中，当集群中某个节点出现故障，zookeeper也会通知到client客户端。

在这里插入图片描述

3、Zookeeper数据结构

Zookeeper数据模型的结构与linux文件系统很类似，整体上可以看作时一棵树，每个节点乘坐一个Znode。

每个znode默认能存储1mb的数据，每个znode都可以通过其路径唯一标识。

在这里插入图片描述

4、Zookeper特点

在这里插入图片描述

  • Zookeeper： 一个领导者（Leader），多个跟随者（Follower）组成的集群
  • Zookeeper集群中只有半数以上节点存储，Zookeeper集群就能正常服务，所以Zookeeper适合安装奇数台服务器。
  • 全局数据一致性： 每个server保存一份相同的数据副本，client无论连接到哪个server，数据都是一致的。
  • 更新请求顺序执行： 来自同一个client的更新请求按其发送顺序依次执行，即先进先出。
  • 数据更新原子性： 一次数据更新，要么成功，要么失败。
  • 实时性： 在一定范围内，client能读到最新数据

总结：zookeeper集群中有一个lleader和多个follower，且zookeeper集群具有数据的一致性、原子性、实时性。且数据更新时按照发送顺序进行更新。

5、Zookeeper选举机制

5.1 第一次启动选举机制

在这里插入图片描述

1、服务器1启动，发起一次选举。服务器1投自己一票。

  • 此时服务器1的票数为1票，不够半数以上（5台节点，半数2.5），选举无法完成，服务器1状态保持为LOOKING.

2、服务器2启动，再发起一次选举，服务器1和2分别投自己1票，并交换选票信息。

  • 此时服务器1发现服务器2的myid比自己投票的服务器myid要大，所以将票投给服务器2.
  • 此时服务器1有0票，服务器2有2票，不够半数，选举无法完成，服务器1和2都保持looking状态。

3、服务器3启动，发起一次选举。

  • 服务器1和2发现服务器3的myid最大，就将选票信息投给服务器3.
  • 此时服务器1和2都有0票。服务器3有3票，超过半数，服务器3称为leader，服务器1和2更换状态为following。

4、服务器4启动，发起一次选举，此时服务器1，2，3已不是looking状态，不会更改选票信息。

  • 此时服务器3为3票，服务器4为1票，此时服务器服从多数，更改修选票信息为服务器3，并更改状态为following。

5、服务器5启动，情况和4一样，状态为following。

5.2 非第一次启动选举机制

在这里插入图片描述

1、当zookeerper集群中一台服务器出现一下两种请款之一时，就会开始进行leader选举。

  • 服务器初始化启动（第一次启动选举机制）
  • 服务器运行期间无法和leader保持连接（不知道leader是否已经产生了，或者leader宕机）

2、当一台机器进入leader选举流程时，当前集群也可能处于一下两种状态。

①集群中本来就已经存储一个leader

  • 对于已存在leader的情况，机器试图去选举时，被会告知当前服务器的leader信息，对于该机器来说，仅仅需要和leader机器建立连接，并进行状态同步即可。

②集群中leader宕机了。

  • 假设zookeeper由5台服务器组成，SID分别为1，2，3，4，5。ZXID分别为：8，8，8，7.并且此时SID为3的服务器时leader。
  • 某一时刻，当3和5都出现故障时，因此又重新开始选举。
#选举leader的规则
1、EPOCH大的直接胜出。
2、EPOCH相同，事务ID(ZXID)大的胜出.
3、ZXID相同，服务器ID大的胜出

----------------名词解释-----------------------
#1、SID:
服务器ID，用来标识一台Zookeeper集群中的机器，每台机器不能重复，和myid一致。

#2、ZXID
事务ID，ZXID是一个事务ID，用来标识一次服务器状态的变更，在某一时刻，集群中的每台机器的ZXID值不一定完全一致，这和Zookeeper服务器对于客户端“更新请求”的处理逻辑速度有关。

#2、Epoch
每个leader任期的代号，没有leader时选举方式跟第一次启动方法相同，每投完一次一票，这个数据就会增加。

5.3 总结

  • 第一次启动选举机制

    • 主要需要看启动顺序，再看他的myid，只要选举票数超过半数，就会选举出一个leader。新加的机器都会指向这个leader。

  • 非第一次启动选举机制

    • 假如存在leader，新加入的机器会获取到leader的信息，然后进行连接。
    • 假如没有leader，会先比较Epoch（任期数），再比较ZXID（事务ID），再比较SID（服务id）。

6、Zookeeper应用场景

提供的服务包括：统一命令服务，统一配置管理，统一集群管理，服务节点动态上下线，软负载均衡等，

①统一命令服务

  • 在分布式环境下，经常需要对应用/服务进行统一命令，便于识别，例如：IP容易记住，而域名容易记住。

②统一配置管理

  • 分布式环境下，配置文件同步非常常见，一般要求一个集群中，所有节点的配置信息是一致的，比如kafka集群，对配置文件修改后，希望能快速同步到各个节点上。
  • 配置管理可交由Zookeeper实现，可将配置信息写入Zookeeper上的zonde，各个客户端服务器监听这个znode，一旦znode中的数据被修改，zookeeper将通知各个客户端服务器。

③统一集群管理

  • 分布式环境中，时实掌握每个节点的状态是必要的，可根据节点时实状态制作出一些调整，
  • zookeeper可以实现时实监控节点状态变化，可将节点信息写入zookeeper上的Znode。监听这个Znode可以获取它的时实状态变化。

④服务动态上下线

  • 客户端能时实洞察到服务器上下线的变化。（是否宕机）

⑤软负载均衡

  • 在Zookeeper中记录每台服务器的访问数，让访问数最少的服务器去处理最新的客户端请求。

二、Zookeeper集群部署

1、环境部署

1.1 环境架构

主机名ip地址安装软件系统版本
node120.0.0.55apache-zookeeper-3.5.7-bin.tar.gzcentos7.5
node220.0.0.56apache-zookeeper-3.5.7-bin.tar.gzcentos7.5
node220.0.0.57apache-zookeeper-3.5.7-bin.tar.gzcentos7.5

1.2 关闭防火墙，修改主机名

#三台主机都需要执行，以node1演示

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

hostnamectl set-hostname node{1,2,3}

在这里插入图片描述

2、安装Zookeeper服务

因为三台主机都要安装，这边只演示一台的安装方法，以node1为例。

2.1 安装环境，解压软件

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
#这里yum安装JDK环境。方便。

java -version

#获取软件包
cd /opt
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz
#或者直接将软件包上传到/opt目录下。

tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz
mv apache-zookeeper-3.5.7-bin /usr/local/zookeeper-3.5.7

在这里插入图片描述

2.2 修改Zookeeper配置配置文件

cd /usr/local/zookeeper-3.5.7/conf
cp zoo_sample.cfg zoo.cfg

vim zoo.cfg
tickTime=2000     
#通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒
initLimit=10      
#Leader和Follower初始连接时能容忍的最多心跳数( tickTime的数量)，这里表示为10*2s 
syncLimit=5     
#Leader和Follower之间同步通信的超时时间，这里表示如果超过5*2s，Leader认为Follwer死掉，并从服务器列表中删除Follwer
dataDir=/usr/local/zookeeper-3.5.7/data       
#●修改，指定保存Zookeeper中的数据的目录，目录需要单独创建
dataLogDir=/usr/local/zookeeper-3.5.7/1ogs    
#●添加，指定存放日志的目录，目录需要单独创建
clientPort=2181      #客户端连接端口

#添加集群信息
server.1=20.0.0.55:3188:3288
server.2=20.0.0.56:3188:3288
server.3=20.0.0.57:3188:3288

mkdir /usr/local/zookeeper-3.5.7/data
mkdir /usr/local/zookeeper-3.5.7/logs

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.3 设置myid号以及启动脚本

到这里就不要设置同步了，下面的操作，做好一台机器一台机器的配置。

echo 1 >/usr/local/zookeeper-3.5.7/data/myid
# node1上配置

echo 2 >/usr/local/zookeeper-3.5.7/data/myid
#node2上配置

echo 3 >/usr/local/zookeeper-3.5.7/data/myid
#node3上配置

#//配置启动脚本，脚本在开启启动执行的目录中创建
vim /etc/init.d/zookeeper
#!/bin/bash
#chkconfig:2345 20 90
#description:Zookeeper Service Control Script
ZK_HOME='/usr/local/zookeeper-3.5.7'
case $1 in
start)
	echo "----------zookeeper启动----------"
	$ZK_HOME/bin/zkServer.sh start
;;
stop)
	echo "---------- zookeeper停止-----------"
	$ZK_HOME/bin/zkServer.sh stop
;;
restart)
	echo "---------- zookeeper 重启------------"
	$ZK_HOME/bin/zkServer.sh restart
;;
status)
	echo "---------- zookeeper 状态------------"
	$ZK_HOME/bin/zkServer.sh status
;;
*)
	echo "Usage: $0 {start|stop|restart|status}"
esac

chmod +x /etc/init.d/zookeeper
chkconfig --add zookeeper

service zookeeper start

service zookeeper status

在这里插入图片描述

三台机器都需要执行脚本
在这里插入图片描述

启动node1机器（20.0.0.55）
在这里插入图片描述
在这里插入图片描述

启动node2机器（20.0.0.56）
在这里插入图片描述

启动node3机器（20.0.0.57）

在这里插入图片描述

yu.deqiang
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Zookeeper集群
QuietHRH的博客
11-13 643
Zookeeper集群 大部分分布式应用需要一个主控、协调器或者控制器来管理物理分布的子进程。目前，大多数都要开发私有的协调程序，缺乏一个通用机制，协调程序的反复编写浪费，且难以形成通用、伸缩性好的协调器，zookeeper提供通用的分布式锁服务，用以协调分布式应用。所以说zookeeper是分布式应用的协作服务。 zookeeper作为注册中心，服务器和客户端都要访问，如果有大量的并发，肯定会...
Zookeeper三台机器集群搭建
凉茶铺的博客
10-27 1092
介绍了zookeeper的集群搭建
zookeeper 简介
xiaojie19871116的博客
06-01 4282
一直对zookeeper的应用和原理比较迷糊，今天看一篇文章，讲得很通透，分享如下：  场景一 有这样一个场景：系统中有大约100w的用户，每个用户平 均有3个邮箱账号，每隔5分钟，每个邮箱账需要收取100封邮件，最多3亿份邮件需要下载到服务器中(不含附件和正文)。用20台机器划分计算的压力，从 多个不同的网路出口进行访问外网，计算的压力得到缓解，那么每台机器的计算压力也不会很大了。
深入理解Zookeeper系列-1.初识Zoookeeper
爱吃知识的土豆倪的博客
11-30 1337
处理客户端的请求（提升集群性能）这样设计到扩容，但是并不是节点越多性能越好，因为涉及到了数据同步，这里面有一个思想叫做 过半提交 ，比如当发起一个操作的时候，整个集群中至少要有过半的节点认为这是成功的，才会成功返回给后端，也就会导致follower会参与到这个过程中来。学到这里，其实技术是存在一个取舍的，但是功能是可以实现的，甚至用数据库来实现其实都可以，无非就是一个统一的存储，然后做个监听数据的变化，那么我们可以监听数据库的变化呀，去触发一些动作也没什么问题，只不过就是会复杂一些，可行性是有的。
面试大咖说：zk 节点宕机如何处理？
撸起袖子加油干
12-28 3859
在高可用框架中，咱们在系统架构设计时，会尽量避免单点问题，引入冗余的副本机制，分布式CAP理论中，无论AP还是CP，Partition Tolerance分区容错的特征必须得到保障； Zookeeper也提供集群部署方式，同时提供leader选举机制，集群部署推荐配置不少于 3 个服务器。 Zookeeper 自身也要保证当一 个节点宕机时， 其他节点会继续提供服务。 如果是一个 Follower 宕机， 还有 2 台服务器提供访问， 因为 Zookeeper 上的数据是 有多个副本的， 数据并不会.
ELFK日志收集，日志文件范例
12-21
ELFK日志收集，日志文件范例
ELFK离线安装包，解压rpm直接安装
12-21
ELFK离线安装包
ELK/ELFK(7.3 ) 企业PB级日志系统实战
06-17
Elastic Stack日志系统是目前企业应用广泛的一套日志解决方案。 ? 包含的组件有Filebeat,Logstash,Elastic,Kibana等 本堂课引入Kafka 让Elastic Stack 能适应企业PB级的业务日志量并弥补传统ELk架构的不足 ...
sparkzxl-docker：docker部署elfk，jenkins，kafka，minioo，redis部署
02-18
sparkszxl-docker docker部署elfk，jenkins，kafka，minioo，redis转移
AGou-ops#beforeWork#Kafka+ELFK分布式日志收集1
07-25
使用背景由于ELFK的局限性，随着Beats 收集的每秒数据量越来越大，Logstash可能无法承载这么大量日志的处理。虽然说，可以增加 Logstash 节点
Kafka原理、集群、监控企业实战
06-19
kafka是一款分布式消息发布和订阅的系统，具有高性能和高吞吐率。它最初由LinkedIn公司...之前有报名过 《ELK/ELFK企业PB级日志系统实战》的同学建议学习本门课程 温馨提示： 课件在最后一节(课堂总结) 可以打包下载
zookeeper集群中某个机器挂了，集群该如何处理？
qq_38197844的博客
08-11 2310
看挂掉的是leader还是follower，如果是leader，则进行新leader的选举，如果是follower，还有其他节点可以提供服务，因为zookeeper集群中的数据每个节点上都有一份副本。
zookeeper集群
Zev_java的博客
03-04 375
Zookeeper集群 zookeeper集群的目的是为了保证系统的性能承载更多的客户端连接设专门提供的机制。通过集群可以实现以下功能： 读写分离：提高承载，为更多的客户端提供连接，并保障性能。 主从自动切换：提高服务容错性，部分节点故障不会影响整个服务集群。 运行机制说明:集群至少需要三台服务器，并且强烈建议使用奇数个服务器。因为zookeeper 通过判断大多数节点的存活来判断整个服务是否可用。比如3个节点，挂掉了2个表示整个集群挂掉，而用偶数4个，挂掉了2个也表示其并不是大部分存活，因此也会挂掉
ZooKeeper常见面试题
WeBot6的博客
08-28 588
一般是客户端执行getData(“/节点A”,true)，如果节点A发生了变更或删除，客户端会得到它的watch事件，但是在之后节点A又发生了变更，而客户端又没有设置watch事件，就不再给客户端发送。官方声明：一个Watch事件是一个一次性的触发器，当被设置了Watch的数据发生了改变的时候，则服务器将这个改变发送给设置了Watch的客户端，以便通知它们。为什么不是永久的，举个例子，如果服务端变动频繁，而监听的客户端很多情况下，每次变动都要通知到所有的客户端，这太消耗性能了。这是比较常用的方式。
锁屏面试题百日百刷-Zookeeper篇(五)
demo软件园的博客
02-23 69
请说明ZooKeeper使用到的各个端口的作用ZooKeeper的部署方式有哪几种集群最少需要几台机器ZooKeeper使用的ZAB协议与Paxo算法的异同请谈谈对ZooKeeper对事务性的支持
Zookeeper（十六）
weixin_39868387的博客
10-29 148
Zookeeper 1、zookeeper 是什么？ zookeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 google chubby 的开源实现，是 hadoop 和 hbase 的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 2、zookeeper 都有哪些功能？ 集群管理：监控节点存活状态、运行请求等...
SpringCloud系列（16）--将服务提供者Provider注册进Zookeeper
m0_64284147的博客
04-25 2090
在上一章节中我们说明了一些关于Eureka自我保护模式，而且自上一章节起关于Eureka的知识已经讲的差不多了，不过因为Eureka已经停更了，为了安全考虑，我们要用还在更新维护的注册中心来取代Eureka，而本章节则是关于如何使用Zookeeper来代替Eureka。
Paxos算法和ZooKeeper使用的Zab（ZooKeeper Atomic Broadcast）算法
liu_rockefeller的博客
04-28 745
Paxos算法和ZooKeeper使用的Zab（ZooKeeper Atomic Broadcast）算法都是分布式一致性算法，用于在分布式系统中达成一致性决策。尽管它们的目标相同，但在设计和实现上存在一些区别。
【漏洞复现】zookeeper AdminServer 未授权访问漏洞
最新发布
qq_67810151的博客
04-30 372
ZooKeeper AdminServer 存在未授权访问漏洞，未授权的攻击者可以通过该漏洞获取服务器大量敏感信息。
为什么 ELFK 中会使用 Filebeat 替代 Logstash
07-17
ELFK 是一个常用的日志管理解决方案，其中的 "F" 代表 Filebeat，"L" 代表 Logstash，"K" 代表 Kibana，"E" 代表 Elasticsearch。 在 ELFK 中，Filebeat 和 Logstash 都可以用来收集和处理日志数据，但是它们有不同的特点和适用场景。 Filebeat 是一个轻量级的日志收集工具，可以直接读取日志文件并将数据传输到 Elasticsearch 或者 Logstash 进行处理和存储。Filebeat 的设计目标是简单高效，它可以实时监控日志文件的变化，并将变动的内容传输到下游处理组件。Filebeat 仅需占用较少的系统资源，适合在资源有限的环境中使用。 Logstash 是一个功能强大的数据处理工具，可以实现复杂的日志数据转换、过滤和分析。Logstash 支持多种输入和输出插件，可以从各种不同的数据源中采集数据，并将处理后的数据发送到多个目标。Logstash 的配置相对复杂，需要定义输入、过滤和输出等多个阶段，适合处理复杂的日志处理场景。 在选择 Filebeat 还是 Logstash 时，可以根据具体需求和环境来决定。如果日志收集和传输的需求相对简单，可以选择使用 Filebeat；如果需要复杂的日志处理和转换，或者需要与其他数据源进行集成，可以选择使用 Logstash。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值