【大数据入门核心技术-Zookeeper】（五）ZooKeeper集群搭建

已于 2023-10-24 19:22:16 修改
阅读量1.2k 收藏 2
点赞数 2
分类专栏： 大数据技术入门到21天通关 文章标签： 大数据 zookeeper 分布式 hadoop big data 1024程序员节
于 2022-12-02 22:34:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/forest_long/article/details/128155528
版权
本文详细介绍了如何在三台服务器上搭建Zookeeper集群，包括集群分布、数据目录创建、安装包下载、解压安装、配置文件修改、myid设置、环境变量配置、服务启动与停止等步骤。
摘要由CSDN通过智能技术生成

目录

一、准备工作

1、集群分布

2、创建数据目录

3、下载安装包

二、解压安装

1、解压

2、修改配置文件zoo.cfg

3、添加myid配置

4、分发zk文件夹和分别新建myid

5、配置环境变量

6、三台机器分别启动zookeeper服务

7、停止zookeeper服务

一、准备工作

1、集群分布

服务器IP主机名myid的值
172.30.1.56hadoop1011
172.30.1.57hadoop1022
172.30.1.58hadoop1033

分别在三台服务器/etc/hosts添加如下：

172.30.1.56 hadoop101
172.30.1.57 hadoop102
172.30.1.58 hadoop103

2、创建数据目录

分别在上述三台服务器执行如下命令：

mkdir -p /data/bigdata/zookeeper

3、下载安装包

官网下载地址：

Index of /dist/zookeeper

这里以3.6.2为例进行安装

http://archive.apache.org/dist/zookeeper/zookeeper-3.6.2/apache-zookeeper-3.6.2-bin.tar.gz

下载完后放在master主机的/root/soft目录

二、解压安装

1、解压

在master机器上，执行如下操作：

tar zxvf apache-zookeeper-3.6.2-bin.tar.gz -C /usr/local/

cd /usr/local/

mv apache-zookeeper-3.6.2-bin zookeeper-3.6.2

2、修改配置文件zoo.cfg

进入到 conf 目录

cd zookeeper-3.6.2/conf/

cp zoo_sample.cfg zoo.cfg

通过 vim zoo.cfg 命令对该文件进行修改：

#Zookeeper的数据存放目录
dataDir=/data/bigdata/zookeeper

tickTime=2000
initLimit=10
syncLimit=5

 
# 保留多少个快照
autopurge.snapRetainCount=3

 
# 日志多少小时清理一次
autopurge.purgeInterval=1

 
# 集群中服务器地址
server.1=hadoop101:2888:3888;2181
server.2=hadoop102:2888:3888;2181
server.3=hadoop103:2888:3888;2181

3、添加myid配置

在master主机上/data/bigdata/zookeeper目录下新建myid文件，并写入值1

cd /data/bigdata/zookeeper/

echo "1" > myid

4、分发zk文件夹和分别新建myid

cd /usr/local

scp -r  zookeeper-3.6.2 hadoop102:$PWD

scp -r  zookeeper-3.6.2 hadoop103:$PWD

在slave1 上

cd /data/bigdata/zookeeper/

echo "2" > myid

在slave2 上

cd /data/bigdata/zookeeper/

echo "3" > myid

5、配置环境变量

vim /etc/profile

export ZOOKEEPER_HOME=/usr/local/zookeeper-3.6.2
export PATH=$ZOOKEEPER_HOME/bin:$PATH

source /etc/profile

分发到其他服务器

scp /etc/profile hadoop102:/etc

scp /etc/profile hadoop103:/etc

并分别

source /etc/profile

6、三台机器分别启动zookeeper服务

我们分别对集群三台机器执行启动命令。
/usr/local/zookeeper-3.6.2/bin/zkServer.sh start

执行完毕后，分别查看集群节点状态：

/usr/local/zookeeper-3.6.2/bin/zkServer.sh status

7、停止zookeeper服务

我们分别对集群三台机器执行启动命令。
/usr/local/zookeeper-3.6.2/bin/zkServer.sh stop

执行完毕后，分别查看集群节点状态：

/usr/local/zookeeper-3.6.2/bin/zkServer.sh status

forest_long
关注
专栏目录
订阅专栏
【大数据入门核心技术-Zookeeper】（六）ZooKeeper基本Shell操作
12-02 312
例如，如果zxid1小于zxid2，说明zxid1操作先于zxid2发生，zxid对于整个zk都是唯一的，即使操作的是不同的znode。ephemeralOwner:如果该节点为临时节点, ephemeralOwner值表示与该节点绑定的session id. 如果不是, ephemeralOwner值为0.dataVersion：数据版本号，每次对节点进行set操作，dataVersion的值都会增加1（即使设置的是相同的数据），可有效避免了数据更新时出现的先后顺序问题。ctime：节点创建时的时间戳.
【大数据入门核心技术-Zookeeper】（四）Zookeeper的应用场景
12-03 920
大堂经理指定另外的一个窗口继续为你服务！集群管理最麻烦的事情就是节点故障管理，zookeeper可以让集群选出一个健康的节点作为master，master节点会知道当前集群的每台服务器的运行状况，一旦某个节点发生故障，master会把这个情况通知给集群其他服务器，从而重新分配不同节点的计算任务。Zookeeper不仅可以发现故障，也会对有故障的服务器进行甄别，看故障服务器是什么样的故障，如果该故障可以修复，zookeeper可以自动修复或者告诉系统管理员错误的原因让管理员迅速定位问题，修复节点的故障。
ZK锦集：Zookeeper的下载和安装 | 真/伪集群的快速搭建| 总结的很详细
血煞长虹 的专栏
12-08 5860
本文主要介绍zk的安装及部署，文章力求：通俗易懂、图文并茂、系统全面，语言精练，主要介绍以下知识点： 1.zk基础知识铺路，做到屋里有粮，心中不慌 2.zk的下载、安装、核心参数配置、节点参数释义 3.zk集群快速搭建的两种方式 ​ zk相关命令请参考： zookeeper常规命令 | Watch | ACL权限操作 | nc四字命令详解...
ZK集群搭建
qq_30610325的博客
05-22 374
参考资料： zookeeper下载地址:http://www.apache.org/dyn/closer.cgi/zookeeper/ Zookeeper搭建步骤:http://blog.csdn.net/chengwenyao18/article/details/23611995 Zookeeper可视化工具：https://issues.apache.org/jira/secure/...
Zookeeper集群安装
最新发布
qq_66281927的博客
07-24 908
Zookeeper集群部署及简单客户端基本命令操作
zk的集群搭建
健康平安的活着的专栏
02-06 3995
一 集群规划描述 192.168.152.128 master 192.168.152.129 slaver01 192.168.152.130 slaver02 安装包存放的目录：/ bigdata-software 安装程序存放的目录：/export/servers 三台机器执行以下命令创建统一文件目录 mkdir -p /export/servers mkdir -p /export/ bigdata-soft...
zk集群搭建
热门推荐
每天进步一点
10-09 1万+
准备： jdk自行安装，我安装的是"1.7.0_80" 下载zk，zk下载地址 根据jdk下载对应的zk，我下载的是zookeeper-3.4.5 下载好后上传到服务器上。 我的服务器是三台，hadoop01 hadoop02 hadoop03； 我先在hadoop01下装zk，装好后，在拷贝到其他服务上 安装： 1、解压 tar -zxvf  zookeeper-3.4.5.t...
zk 集群搭建
qq_39512671的博客
03-14 358
先装奇数台zk，修改配置文件中的 data存放目录，新建 mkdir zkData 文件夹 在zkData文件夹中新建一个myid的文件，使用vim来操作，保证不会乱码 在myid文件中添加server对应的编号，不能相同，最好不要从0开始 配置zoo.cfg文件，增加如下配置： ##########cluster######### server.11=ip地址:2888:3888...
大数据基础 一 —zookeeper的详解与集群的搭建
coder
08-11 558
大数据基础 一 —zookeeper的详解与集群的搭建 1 zookeeper是什么？ ​ 它是一个分布式协调服务的开源框架，主要用来解决分布式集群中应用系统一致性的问题，例如怎样避免同时操作同一数据造成脏读的问题 ​ 它的本质是是一个分布式的小文件存储系统，提供基于类似于文件系统的目录树方式的数据存储，并且可以对树上的节点进行管理并维护和监控你存储的数据的状态变化，通过监控这些...
[开启大数据的大门] 第二天: Zookeeper简介与集群搭建
qq_26282869的博客
04-11 122
一、前言 Zookeeper简介 Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务 A、zookeeper是为别的分布式程序服务的 B、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务） C、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务…… D、虽然说可以提供各种服务，...
【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建
12-03 3287
独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。单Namenode节点模式-高可用HA模式集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。本教程主要安装 多Namenode 节点 高可用集群模式二、准备工作本高可用参考以上非高
【大数据入门核心技术-Hive】（四）Hive3.1.2高可用集群搭建
12-04 1477
一、部署规划Hadoop3.*高可用集群部署参考：https://blog.csdn.net/forest_long/article/details/128157294二、部署版本三、集群规划hive远程模式 && hiveserver2高可用四、MySQL安装1、下载和解压https://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-8.0.26-linux-glibc2.12-x86_64.tar.xz 2、环境配置 3、创建配置文件 初始化MYSQ
【大数据入门核心技术-Kafka】（四）Kafka常用shell命令
12-19 875
1、Zookeeper集群安装2、Kafka集群安装。在zookeeper中查看，登录客户端bin/zkCli.sh 执行ls /brokers/ids 查看节点数目及节点ID，[0, 1, 2]指定消费者消费哪个分区的数据： bin/kafka-console-consumer.sh --bootstrap-server node1:9091,node2:9092,node3:9093 --topic test_kafka --partition 0，bin/kafka-topics.sh --delet
搭建ZK集群
qq_28783701的博客
07-20 464
环境准备： 1.VMware里面搞三台centos 7的虚拟机 2.下载JDK，ZK的tar包。JDK下载    jdk-xxx-linux-x64.rpm   的那个 3.如果是在windows物理主机上下的话，用WinSCP分别连接到三台虚拟机，传输过去，解压到任意文件夹下。 接下来就开始玩了： 运行命令： rpm -ivh jdk-xxx-linux-x64.rpm  (xxx)...
3-ZooKeeper集群部署
诗人不写诗
03-13 546
集群规划 利用3台服务器部署zookeeper，形成集群，提高zookeeper可用性。 背景知识 使用集群部署时，每个zookeeper服务节点都需要一个自然数作为唯一标识，这个标识写入文件中，文件路径是：$dataDir/myid。 集群中每个节点的配置文件都需要加上所有节点信息，格式如下： server.x.hostname:port1:port2 x：myid文件中的节点唯一标识 hostname：可以写IP，也可以写主机名 port1：集群中leader服务也follower服务通信的端口
浅谈zk(8).zookeeper环境搭建_集群版
08-06 649
一、环境搭建 1、分别创建三个server目录 2、分别在3个目录中创建logs、data子目录，如下： 3、分别在data目录下创建myid文件 server1: myid， 内容为0 server2:myid, 内容为1 server3: myid,内容为 2 4、copy 一份单机版的zookeeper完整目录到server1、ser
zookeeper集群搭建
M_wzz的博客
10-19 460
zookeeper集群搭建 安装前的准备 安装前需要安装好jdk 检测集群时间是否同步 检测防火墙是否关闭 检测主机 ip映射有没有配置 一、下载安装包、解压（实例 zookeeper-3.4.5） tar -zxvf zookeeper-3.4.5.tar.gz -C /export/servers(输入自己要压缩的路径) 二、修改环境变量（注意：3台zookeeper都需要修改） vi /etc/profile.d/zookeeper.sh (建议创建一个文件) 输入 分发到其他机器 scp /e
Zookeeper基础以及集群搭建
灰客
03-31 140
（一）Zookeeper基础知识、体系结构、数据模型 1 zookeeper是一个类似linux、hdfs的树形文件结构，zookeeper可以用来保证数据在(zk)集群之间的数据的事务性一致、 2 zookeeper有watch事件，是一次性触发的，当watch监视的数据发生变化时，通知设置了该watch的client，即watcher 3 zookeeper有三个...
三、Zookeeper 集群搭建
wang_luwei的博客
05-15 816
zk目录 文章目录3.1、VMware网络配置-设置linux系统的固定IP地址3.1.1、修改虚拟机的网络配置3.1.2、Windows电脑的网络配置3.1.3、linux系统ip设置3.2、修改linux系统的hosts文件3.3、先在一台机器上安装zookeeper3.3.1、增加myid文件3.3.2、在zoo.cfg文件增加集群配置3.4、克隆出另外两台机器3.4.1、修改ip地址3.4.2、修改zookeeper的myid文件3.5、zookeeper集群测试 3.1、VMware网络配置-
Zookeeper集群搭建教程：从入门到生产环境
本文档将指导你如何在节点(node4、node5、node6)上部署Zookeeper集群，版本为zookeeper-3.4.5-cdh5.7.0，这是大数据领域常用于实现高可用性和协调工作的重要组件。 Zookeeper是一个分布式协调服务，由Apache开发，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

forest_long

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值