zookeeper的原理以及安装、配置

最新推荐文章于 2024-01-16 03:30:00 发布
最新推荐文章于 2024-01-16 03:30:00 发布
阅读量423 收藏
点赞数
分类专栏： zookeeper 文章标签： hadoop zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013111855/article/details/101267529
版权

zookeeper的原理以及安装、配置

产生背景

问题：如果一个集群中有100个节点，如何实现数据的一致性？
这里先介绍一下一致性的概念：
一致性分为：强一致性、弱一致性和最终一致性

  • 强一致性
    特点：写入什么 就读到什么
    例如：从任意一个节点写入数据，其他节点读取到写入后的数据。如果集群中只有一个节点， 一致性是最强的。集群中节点个数越多 强一致性越难保证。
  • 弱一致性
    特点：写入什么，尽量保证读到什么
    不保证最终读取的结果一定对的
  • 最终一致性
    弱一致性的特殊情况
    允许一定的时间延迟的
zookeeper是什么?

zookeeper 就是做分布式一致性的。分布式情况下，多个节点的一致性（数据、状态等一致性）。

zookeeper来源：
paxos   过半选举
zookeeper 是paxos算法的最完美的实现

分布式算法  演变：
	CAP 
		c:强一致性  一个节点
		a:高可用性   节点越多可用性越高
		p：机架策略  
		实验环境下
	base：
		c-- 最终一致性   a ：基本可用
zookeeper的安装：

安装版本：
3.4.10
安装准备：
jdk1.8
安装节点：
最好是奇数台 至少3台 3-11
安装步骤：

  • 1)上传
  • 2）解压
    tar -xvzf zookeeper-3.4.10.tar.gz
  • 3）配置环境变量
    export ZOO_HOME=/home/jacob/app/zookeeper-3.4.10
    export PATH= P A T H : PATH: PATH:ZOO_HOME/bin
    在这里插入图片描述
    重新加载配置文件
    source /etc/profile
    在这里插入图片描述
  • 4）修改zookeeper配置文件
    cd /home/jacob/app/zookeeper-3.4.10/conf
    在这里插入图片描述
    首先将配置文件的名字修改为 zoo.cfg
    mv zoo_sample.cfg zoo.cfg
    在这里插入图片描述
#The number of milliseconds of each tick  每次心跳的时间间隔
tickTime=2000
#The number of ticks that the initial 
#synchronization phase can take    初始化阶段的心跳次数
initLimit=10
#The number of ticks that can pass between 
#sending a request and getting an acknowledgement  发送请求  接受响应 5次心跳
syncLimit=5
#the directory where the snapshot is stored. 快照存储目录（核心文件，选主快照。）
#zookeeper的核心文件存储目录  快照目录：存储每一个节点的id 
#do not use /tmp for storage, /tmp here is just 
#example sakes.
dataDir=/home/jacob/data/zookeeperdata
#the port at which the clients will connect 客户端连接zookeeper的端口
clientPort=2181
#the maximum number of client connections.
#increase this if you need to handle more clients
#maxClientCnxns=60
#绑定节点  和 id 
#server.id = 主机名：2888:3888  一行一个节点
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888

在这里插入图片描述
zk中每一个节点都会有一个id， int型的数字，数值区间为： 0～255，便于投票使用。
同一个集群中 不同节点的id 不可重复

hadoop01 1
hadoop02 2
hadoop03 3

  • 5）添加id文件
    /home/jacob/data/zookeeperdata (此下创建文件名myid的文件)
    myid存储当前节点的id
    myid 不要有多余的空格 也不要有多余的换行符

  • 6）远程发送zk的安装包 其他节点
    scp -r zookeeper-3.4.10 hadoop02:/home/jacob/app/
    scp -r zookeeper-3.4.10 hadoop03:/home/jacob/app/

    sudo scp /etc/profile hadoop02:/etc/
    sudo scp /etc/profile hadoop03:/etc/
    分别在对应的机器上加载配置文件：
    source /etc/profile

  • 7）到hadoop02 hadoop03 创建 myid文件

先创建目录
mkdir -p /home/jacob/data/zookeeperdata/
再创建myid文件
vim myid

  • 8）启动
    注意：启动之前一定保证防火墙关闭的，时间是同步的
    sudo ntpdate ntp1.aliyun.com
    在这里插入图片描述
    在这里插入图片描述
    三个节点都要执行
    启动hadoop01

    zkServer.sh start
    出现：21698 QuorumPeerMain zookeeper的进程
    有这个进程 不代表启动成功
    验证启动成功 zk的状态
    zkServer.sh status
    有可能会出现： Error contacting service. It is probably not running. 的错误。不过不要着急，出现这种情况，也可能是zookeeper集群启动不到一半导致的，忽略它，继续启动其它节点（机器）。

启动hadoop02

zkServer.sh start
查看zk状态：zkServer.sh status
Mode: leader
hadoop01的mode为：follower

启动hadoop03

zkServer.sh start
查看zk状态：zkServer.sh status
Mode: follower

问题1
查看zookeeper.out文件发现有错误：

2019-09-22 20:13:47,005 [myid:3] - INFO  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:ServerCnxn@318] - The list of known
 four letter word commands is : [{1936881266=srvr, 1937006964=stat, 2003003491=wchc, 1685417328=dump, 1668445044=crst,
1936880500=srst, 1701738089=envi, 1668247142=conf, 2003003507=wchs, 2003003504=wchp, 1668247155=cons, 1835955314=mntr,
1769173615=isro, 1920298859=ruok, 1735683435=gtmk, 1937010027=stmk}]
2019-09-22 20:13:47,006 [myid:3] - INFO  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:ServerCnxn@319] - The list of enabl
ed four letter word commands is : [[wchs, stat, stmk, conf, ruok, mntr, srvr, envi, srst, isro, dump, gtmk, crst, cons]
]
2019-09-22 20:13:47,006 [myid:3] - INFO  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@883] - Processing srv
r command from /127.0.0.1:53802
2019-09-22 20:13:47,019 [myid:3] - INFO  [Thread-1:NIOServerCnxn@1044] - Closed socket connection for client /127.0.0.1
:53802 (no session established for client)
2019-09-22 20:40:21,300 [myid:3] - WARN  [RecvWorker:2:QuorumCnxManager$RecvWorker@1028] - Connection broken for id 2,
my id = 3, error =
java.io.EOFException
        at java.io.DataInputStream.readInt(DataInputStream.java:392)
        at org.apache.zookeeper.server.quorum.QuorumCnxManager$RecvWorker.run(QuorumCnxManager.java:1013)
2019-09-22 20:40:21,304 [myid:3] - WARN  [RecvWorker:2:QuorumCnxManager$RecvWorker@1031] - Interrupting SendWorker

提示Connection refused的异常，其实一开始先不急着百度这个问题，其实要所有节点上都启动zookeeper后再看看运行状态，现在查看运行状态都是没运行的，也找不到相应的进程：
在这里插入图片描述
不要着急，到其他节点服务器上都启动zookeeper，过一会儿后每个服务器查看状态：
在这里插入图片描述
如果有Mode和QuorumPeerMain，就说明已经启动成功了。
如果要关闭zookeeper,需要在每个节点上执行：
在这里插入图片描述
问题2
当zookeeper在集群启动不到一半的时候，会报如下的错误。
Error contacting service. It is probably not running.
在这里插入图片描述
碰到这个错误暂时不要着急，不用理它，因为启动机器的数量不过半，无法进行选举，所以才出现这样的错误。继续启动其它机器，之后就会正常了。

启动顺序和投票机制：

启动顺序 和 myid 有关

  • 启动顺序如果是：
    先启动 hadoop01—1
    再启动 hadoop02—2
    最后启动 hadoop03—3
  • 1）hadoop01启动，找集群中的leader，发现没有leader，发起选主，但是集群中只有一个节点 他自己， 这个时候hadoop01 就将选票投给自己，这时候hadoop01获取1票（总数3票），没有过半，选主失败，这个时候hadoop01的状态 无状态（It is probably not running）
  • 2）hadoop02启动，找集群中的leader，发现没有leader，发起选主，集群中有hadoop01–1 hadoop02—2,每个节点开始投票，zk内部规定id小的节点强制将自己的票投给id大的。
    hadoop01投票给–>id=2
    hadoop02投票给–>id=2
    id=2(hadoop02)获取两票，已经过半了，hadoop02就是选举的leader，hadoop01 就主动的将自己的状态切为follower.
  • 3）hadoop03启动，找集群leader，发现集群中已经有leader，主动将自己的状态切为follower。
  • 所以最终结果是：hadoop01是follower，hadoop02是leader，hadoop03是follower

批量启动和关闭
一台一台服务器去执行命令有点麻烦，写一个脚本批量执行：

#!/bin/bash
#下面变量修改zookeeper安装目录
zooHome=/opt/zookeeper
if  [ $1 != ""  ]
    then
        confFile=$ZOOHOME/conf/zoo.cfg
        slaves=$(cat "$confFile" | sed '/^server/!d;s/^.*=//;s/:.*$//g;/^$/d')
        for salve in $slaves ; do
            ssh $salve "$ZOOHOME/bin/zkServer.sh $1"
        done
    else
        echo "parameter empty! parameter:start|stop"
fi

将上面脚本保存为zooManager文件，调用执行：

sh zooManager start
sh zooManager stop

zookeeper的原理：

zookeeper中的角色：

  • leader :
    发起提议
    接受客户端的读写请求，主要处理写请求
    具有选举权 和 被选举权
    时刻具备最新数据
  • follower
    接受客户端的读写请求，读请求可以自己处理。如果接受到客户端的写请求，将写请求转发给leader。
    具备选举权 和 被选举权
  • observer
    配置： server.4=hadoop04:2888:3888：observer
    不具备选举权 和被选举权
    作用：分担集群的读数据的压力，接收到写请求，转发leader。
    实际应用中，读写比例可能为: 95：5

整个写入数据过程中， leader最先写入， follower|observer 从leader进行数据同步。
如果follower|observer 数据更新过程中， leader宕机了， 则重新选主。

详解stat信息：

cZxid = 0x200000075
ctime = Mon Aug 05 23:52:15 CST 2019 节点创建时间
mZxid = 0x200000075
mtime = Mon Aug 05 23:52:15 CST 2019 节点修改时间
pZxid = 0x20000007e
cversion = 6 创建版本
dataVersion = 0 数据版本
aclVersion = 0 权限版本
ephemeralOwner = 0x0 节点的生命周期标识
永久节点 0x0
ephemeralOwner = 0x16c5d8f0a950009 临时节点
sessionid = 0x16c5d8f0a950009
dataLength = 0 数据长度
numChildren = 6 子节点个数

数据版本id，数据版本越大，数据越新，全局的
cZxid 创建节点事件id ： 创建节点 id+1
mZxid 修改节点事件id ： 修改节点内容，id+1
pZxid 子节点变化的事件id ：创建一个节点的子节点的时候，发生变化。

cZxid mZxid pZxid 整体无论修改了哪一个 ， 都会全局顺序递增
上面的3个id 共同标识整个集群中的这个机器的数据更新程度，如果zxid 最大，这个机器中的数据最新的。

非全新集群的选主
集群运行一段时间之后,如果leader宕机，则集群重新选主。
依据：
	1）myid 
	2）zxid 
	3）逻辑时钟  投票的轮数

选举规则：
1）先根据逻辑时钟，如果逻辑时钟不统一，先统一逻辑时钟。
2）统一完成逻辑时钟之后，按照zxid进行选择，  zxid大的胜出。
3）在zxid大的里面选myid， myid大的胜出
最终选的leader，数据版本是最新的。
IT小鸟鸟
关注
专栏目录
ZooKeeper原理及配置
都是浮云
03-23 1万+
ooKeeper实验版本：3.4.6 ZooKeeper下载地址：http://www.apache.org/dyn/closer.cgi/zookeeper/   zookeeper是一个高可用性，高性能的协调服务。   解决哪些问题 在分布式应用中，经常会出现部分失败的情况，即当节点间传递消息的时候由于网络或者接收者进程死掉等原因，发送者无法知道接收者是否收到消息。 由于部分失败
Zookeeper 原理和安装配置
nandao158的博客
03-18 1025
Zookeeper 是我们常用的分布式注册中心，很有必要学习明白，最便捷的入口当然是ZK官网，官网地址，看完之后我们从最核心地方分析一下： 1、ZK集群一主多从，主节点挂后迅速选出leader 视图分析： 1.1、视图右边本来是五台服务器，一个leader主节点 ,四个从节点，主节点挂了之后还剩4个节点，此时停止对外服务，然后四个节点迅速选出一个主节点，耗时200ms左右，此时服务恢复正常。 1.2、客户端访问zk集群，往其注册写入数据，均要传给leader，让leader负责写，完事后通知所有从
搭建zookeeper集群常见的报错原因（总结）
facing-screen's blog
10-17 2506
N.1 报错：Connection broken for id 2, my id = 3, error = java.io.IOException: Channel eof ... 原因：server.id和myid配置里的id不对应
安装zookeeper集群详细步骤
qq_35427677的博客
03-10 741
在虚拟机安装zk集群遇到了不少坑，耽误了很多时间，步骤记录在此，日后生产安装时有个参照 1.虚拟机准备了3台，ip分别为 192.168.220.2 192.168.220.3 192.168.220.4 安装jdk省略 （此处有坑，之前在root下安装的jdk） 2.上传zookeeper-3.4.5.tar.gz，解压后修改conf下zoo.sample.cfg并改名为zoo.cf...
docker搭建zookeeper集群，出现Connection broken for id问题
Crayon
08-15 1947
1.有可能是系统时间的问题。 执行 dpkg-reconfigure tzdata 选择Asia-->Shanghai 参考：https://blog.csdn.net/DavyLee2008/article/details/56015573 2.配置问题 配置文件/conf/zoo.cfg上加上 quorumListenOnAllIPs=true 参考文章：htt...
Zookeeper原理及安装配置.pdf
12-12
Apache ZooKeeper 是一个分布式协调服务，它为分布式应用程序提供了一个简单、高效且高度可靠的系统。Zookeeper 提供了命名服务、配置管理、...正确安装和配置 Zookeeper 对于确保分布式应用程序的正常运行至关重要。
Zookeeper原理
02-21
在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookeeper的目的就在于此。本文...
实验三 Zookeeper的安装和配置.docx
最新发布
05-07
根据提供的文档信息，本次实验主要围绕ZooKeeper的安装与配置展开。下面将对文档中的几个关键部分进行详细解析，并在此基础上进一步扩展相关的知识点。 ### 一、实验目的与要求 1. **了解ZooKeeper体系架构**： -...
Zookeeper原理及应用
03-18
**Zookeeper原理及应用** Apache ZooKeeper 是一个分布式协调服务，它为分布式应用程序提供一致性服务。这个系统广泛应用于配置管理、命名服务、集群管理、分布式锁、分布式队列等多个场景。在深入理解 ZooKeeper ...
quorum.QuorumCnxManager: Connection broken for id 1, my id = 2, error = java.net.SocketException:
farcicalbird的博客
07-28 5211
在研究hbase，所以暂时使用的HBase自带的zookeeper + 伪分布式，在一次网络问题导致IP更改后，出现了不能create table 的错误，于是看log发现启动hbase时出现如下error: quorum.QuorumCnxManager: Connection broken for id 1, my id = 2, error =  java.net.SocketExcepti...
zookeeper 启动失败
wangxj_2017的博客
10-01 1万+
2017-10-01 11:36:55,983 [myid:0] - WARN  [RecvWorker:0:QuorumCnxManager$RecvWorker@762] - Connection broken for id 0, my id = 0, error =  java.io.EOFException at java.io.DataInputStream.readInt(Data
Zookeeper进程关闭异常 并报EOFException异常
王傲旗的大数据之路
03-03 5940
第一步 错误原因分析 “FOLLOWER”在跟“LEADER”同步时，fsync操作时间过长，导致超时。 查找到Zookeeper安装目录下的conf中的配置文件 增大以下两个参数 第二步 进入到配置文件中设置的dateDir目录 将version-2修改为临时文件 version-2.bak mv version-2/ version-2.bak 第三步 拜一下杨超越 然后重启z...
【Eureka】java.net.ConnectException: Connection refused: connect
【CSDN】
03-13 1万+
java.net.ConnectException: Connection refused: connect 1. 报错如上。 2. 原因和解决： 1）端口号被占用：杀死占用端口号（一般为8080）的进程，释放端口；彻底关闭 Tomcat 服务器，或者重新启动项目。 2）使用以下命令检查服务器中允许的最大进程数：ulimit -u。如果将此值设置为较低值，例如1024，则使用以下值将其增加到131072或无限制：ulimit -u 131072或者ulimit -u无限制 。 3）客...
java.net.SocketException四大异常解决方案
热门推荐
hzp666的博客
07-22 8万+
转载：点击打开链接 第1个异常是 java.net.BindException:Address already in use: JVM_Bind。 该异常发生在服务器端进行new ServerSocket(port)（port是一个0，65536的整型值）操作时。异常的原因是以为与port一样的一个端口已经被启动，并进行监听。此时用netstat –an命令，可以看到一个Listending状...
已解决java.io.EOFException异常的正确解决方法，亲测有效！！！
小明的Java问道之路
01-16 1万+
通常表示程序尝试读取超出数据源末尾的内容。处理好输入流的末尾情况，以及网络连接的突然中断，是避免此异常的关键。务必确保在读取操作时进行适当的异常处理，并在捕获时清理资源和连接。通过这样的实践，开发者能够编写更健壮和稳定的应用程序。以上是此问题报错原因的解决方法，欢迎评论区留言讨论是否能解决，如果本文对你有帮助 欢迎关注、评论， 博主才有动力持续记录遇到的问题！！！博主v：XiaoMing_Java嗨，大家好，我是。
Linux 安装zookeeper
qq_43620910的博客
11-07 2650
1. 下载 链接： http://zookeeper.apache.org/releases.html https://archive.apache.org/dist/zookeeper/ 2. 上传 通过 MobaXterm stfp功能 上传文件到 /opt/pkg3. 解压 tar -zxvf zookeeper-3.4.6.tar.gz -C /opt/software/ --解压到指定路径 4. 配置文件 cd /opt/software/zookeeper-3.
zookeeper 重启报错 发送数据报错
spark_dev的博客
05-27 529
zookeeper 重启报错一：现象：zookeeper重启报错二、处理方法 一：现象：zookeeper重启报错 提示：以下是本篇文章正文内容，下面案例可供参考 查看日志： 二、处理方法 1.多次重启，无效 [root@sparkworker1 version-2]# ll total 462196 -rw-r–r-- 1 cloudera-scm cloudera-scm 3 May 27 15:48 acceptedEpoch -rw-r–r-- 1 cloudera-s
zookeeper 大量连接断开重连原因排查
weixin_33738982的博客
06-04 3483
问题现象   最后发现线上的zookeeper的日志zookeeper.out 文件居然有6G，后来设置下日志为滚动输出，参考：   http://blog.csdn.net/hengyunabc/article/details/19006911   但是改了之后，发现一天的日志量就是100多M，滚动日志一天就被冲掉了，这个不科学。   再仔细查看下日志里的内容，发现有很多...
Connection broken for id 62, my id = 70, error =
weixin_34261739的博客
12-16 1395
启动费zokeeper失败，报错如下：Connection broken for id 62, my id = 70, error =   原因是因为zoo.cfg中server.id不正确。 server.1=node11:2888:3888server.62==node12:2888:3888server.70=node13:2888:3888...
Zookeeper单机模式安装与配置详解
"Zookeeper是Apache的一个开源项目，主要功能是提供分布式协调服务，用于解决分布式环境中的数据一致性问题。...通过理解和掌握Zookeeper的安装、配置和基本原理，开发者可以更好地利用它来构建和管理分布式应用程序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值