大数据——Zookeeper安装、启动、操作命令（一）

于 2024-04-19 09:03:41 发布
阅读量1.5k 收藏 25
点赞数 11
分类专栏： Zookeeper 文章标签： 大数据 zookeeper 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51401546/article/details/137949608
版权

Zookeeper

概述

  1. Zookeeper本身是Apache提供的一套开源的用于进行分布式管理和协调的机制/框架。官网：https://zookeeper.apache.org
  2. Zookeeper本身提供了中心化服务，包含统一配置、统一命名、分布式锁服务、分布式组服务，更多的时候，Zookeeper充当了一个注册中心来使用
  3. Zookeeper是Yahoo!仿照了Google的<The Chubby Lock Service>开发的后来贡献给了Apache的一套框架

安装

概述

  1. 在大数据中，几乎所有的框架，它的安装都提供了三种模式
    1. 单机模式：在一台服务器上安装，往往能够启动这个框架的部分服务
    2. 伪分布式：在一台服务器上安装，但是利用多个线程模式分布式环境，能够启动这个框架的大部分甚至于服务
    3. 分布式：在集群上安装，能够启动这个框架的所有服务
  2. 现阶段，先安装单机模式，搞定所有的概念之后，再到集群中安装

安装JDK

  1. Centos7中可能自带了OpenJDK，需要卸载移除掉

    rpm -qa | grep -i jdk | xargs rpm -ev --nodeps

  2. 上课的时候要求，所有的软件安装包放在/opt/presoftware下，将软件安装在/opt/software下

    cd /opt
mkdir presoftware
mkdir software

  3. 进入presoftware下，将JDK安装包上传到这个目录下

    cd presoftware
# 将安装包上传到这个路径下
rz

  4. 解压到software目录下

    tar -xvf jdk-8u371-linux-x64.tar.gz -C /opt/software/

  5. 进入software目录下

    cd /opt/software/
# 重命名
mv jdk1.8.0_371/ jdk1.8

  6. 在Linux中， 环境变量的配置有两个位置：/etc/profile和~/.bashrc。无论哪一个路径，默认都会扫描/etc/profile.d目录下的脚本文件，所以，配置环境变量一般是放在/etc/profile.d

    # 需要在/etc/profile.d来脚本文件
touch /etc/profile.d/javahome.sh
# 编辑脚本文件
vim /etc/profile.d/javahome.sh
# 在文件中添加
export JAVA_HOME=/opt/software/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
# 保存退出，生效
source /etc/profile.d/javahome.sh
# 测试
javac -version
# 或者
java -version

安装Zookeeper(单机模式)

  1. 将安装包上传到Linux上

    cd /opt/presoftware/
rz

  2. 解压

    tar -xvf apache-zookeeper-3.9.1-bin.tar.gz -C /opt/software/

  3. 重命名

    cd /opt/software/
mv apache-zookeeper-3.9.1-bin/ zookeeper-3.9.1

  4. 配置环境变量

    # 编辑文件
vim /etc/profile.d/zookeeperhome.sh
# 在文件中添加
export ZOOKEEPER_HOME=/opt/software/zookeeper-3.9.1
export PATH=$PATH:$ZOOKEEPER_HOME/bin
# 保存退出，生效
source /etc/profile.d/zookeeperhome.sh

  5. 配置Zookeeper

    1. 进入Zookeeper的配置目录

      cd /opt/software/zookeeper-3.9.1/conf

    2. 修改配置

      # 复制文件 - 注意：Zookeeper启动的时候默认会使用zoo.cfg中的配置
cp zoo_sample.cfg zoo.cfg
# 编辑文件
vim zoo.cfg
# 修改dataDir属性的值
dataDir=/opt/software/zookeeper-3.9.1/data

    3. 启动Zookeeper

      zkServer.sh start

    4. 检查Zookeeper的状态

      # 方式一：
jps
# 如果有QuorumPeerMain，那么表示Zookeeper在运行
# 方式二：
zkServer.sh status

    5. 进入Zookeeper的客户端

      zkCli.sh

技术点

特点

  1. Zookeeper默认对外提供的客户端端口号是2181，可以通过zoo.cfg中的clientPort属性来修改，但是不建议
  2. Zookeeper本身是一个树状结构，根节点是/
  3. 不同于Linux的地方在于，Zookeeper中没有相对路径的说法，所有节点路径都必须从根节点开始计算
  4. 当Zookeeper启动的时候，自动的添加一个节点/zookeeper，存放的是Zookeeper本身的集群信息
  5. 在Zookeeper3.7及以前的版本中，要求每一个节点在创建的时候必须携带数据，这个数据可以是对节点的描述或者是配置信息
  6. 每一个节点携带的数据默认是在内存以及磁盘上
    1. 维系在内存的目的是为了读写快
    2. 维系在磁盘的目的是为了持久化
  7. 数据在磁盘上的存储路径默认由dataLogDir属性来控制，默认情况下，如果没有单独指定，dataLogDir的属性值和dataDir是一致的
  8. 临时节点下不能挂载子节点！
  9. Zookeeper会为每一次的写操作分配一个全局递增的编号，这个编号称之为事务id，简写为Zxid。一个节点刚被创建的时候，三个事务id是一致的

操作命令

命令解释
ls /查看跟节点的子节点
create /big在根节点下创建子节点big - 这种创建方式是从Zookeeper的3.8版本开始的
create /test 'this is a test server'在根节点下创建test节点，并且携带数据
create /data ''创建节点，并且给定数据为空
get /big获取节点的数据
set /video 'size=500M'修改数据
delete /test删除节点，要求节点为空(不能有子节点)
rmr /video删除这个节点及子节点，从Zookeeper3.8开始，这个命令就过时了
deleteall /video删除这个节点及子节点，从Zookeeper3.8开始建议使用的命令
ls -w /监控指定节点的子节点的个数变化 - 只监控一次
get -w /news监控指定节点的数据是否变化 - 只监控一次
removewatches /news移除监控
history查看执行过的指令
redo 24重新执行编号为24的命令
close关闭连接，但是没有退出Zookeeper客户端
quit直接退出客户端，需要通过zkCli.sh重新进入
connect localhost:2181连接本机的2181端口
getAllChildrenNumber /获取根节点以及所有子节点的数量
setquota -n 2 /news/news节点下的子节点个数最好不要超过2个
setquota -b 1024 /news/news节点的数据最好不要超过1024B
listquota /news获取/news节点上的限制
delquota /news删除/news节点上的限制
version查看Zookeeper的版本
whoami查看当前的用户
sync /将根目录下的数据同步给其他的follower
getEphemerals /获取根节点的临时节点
create -e /big ''创建临时节点
create -s /test/t ''创建持久顺序节点
create -e -s /test/t ''创建临时顺序节点
stat /news查看节点的属性/信息

节点类型

节点解释
Persistent持久节点
Ephemeral临时节点
Persistent_Sequential持久顺序节点
Ephemeral_Sequential临时顺序节点

节点信息/属性

属性/信息解释
cZxid这个节点创建对应的事务id，整个过程中第几个写操作创建了这个节点
ctime这个节点创建对应的时间
mZxid这个节点的数据修改对应的事务id，整个过程中第几个写操作修改了数据
mtime这个节点的数据修改对应的时间
pZxid这个节点的子节点个数变化对应的事务id，整个过程中第几个写操作导致这个节点的子节点个数产生了变化
cversion这个节点的子节点个数变化了几次
dataVersion这个节点的数据被修改了几次 - 数据版本
aclVersion这个节点的权限被修改了几次
ephemeralOwner如果是持久节点，此项值为0x0；如果是临时节点，此项值为当前的会话编号(sessionid)
dataLength数据的长度(字节个数)
numChildren子节点个数
ZikH~
关注
  • 11
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
zookeeper启动（一）
u013127325的博客
06-02 984
在zkServer.sh的启动命令中，我们可以找到zookeeper启动的关键类org.apache.zookeeper.server.quorum.QuorumPeerMain。
ZooKeeper 启动过程分析
itliwei的博客
01-12 410
单机服务器启动 ZooKeeper服务器启动，大体分为五个主要步骤：配置文件解析、初始化数据管理器、初始化网络I/O管理器、数据恢复和对外服务。 预启动 预启动的步骤如下： 1、统一由QuorumPeerMain作为启动类 2、解析配置文件zoo.cfg 3、创建并启动历史文件清理器DatadirCleanupManager 4、判断当前是集群模式还是单机模式的启动 5、再
02_尚硅谷大数据之Zookeeper安装1
08-03
（2）通过 filezilla 工具拷贝 zookeeper 到到 linux 系统下 （3）解压到指定目录 （1）启动 zookeeper （2）查看进程是否
启动zookeeper_Zookeeper原理篇-Zookeeper启动流程分析
weixin_39924486的博客
11-23 46
前言上篇我们通过了解Paoxs算法开始，到Zab协议的两大特性:崩溃恢复和消息广播，学习了Zookeeper是如何通过Zab协议实现高可用，本篇开始我们来学习Zookeeper的启动流程单机模式启动流程我们知道，Zookeeper使用中分为单机和集群两种，而这两种最大的不同则是，集群启动下需要进行Leader选举以及Leader和Follower之间的数据同步操作，而单机启动则不需要此操作，Zoo...
zookeeper启动脚本
07-20
zookeeper启动脚本，zookeeper启动脚本，zookeeper启动脚本
启动zookeeper
weixin_40530363的博客
01-09 119
bin/zkServer.sh start
Zookeeper安装和启动
最新发布
qq_50800130的博客
09-15 1021
Zookeeper 是 Apache Hadoop 的子项目，是一个树型的目录服务，支持变更推送，适合作为 Dubbo 服务的注册中心，工业强度较高，可用于生产环境，并推荐使用。服务提供者(Provider)启动时: 向目录下写入自己的 URL 地址服务消费者(Consumer)启动时: 订阅目录下的提供者 URL 地址。并向目录下写入自己的 URL 地址监控中心(Monitor)启动时: 订阅目录下的所有提供者和消费者 URL 地址。
ZooKeeper单机服务器启动
coolshyman的博客
08-18 553
ZooKeeper的请求处理方式是典型的责任链模式的实现，在ZooKeeper服务器上，会有多个请求处理器依次来处理一个客户端请求。ZooKeeper服务器首先会进行服务器实例的创建，接下去的步骤则都是对该服务器实例的初始化工作，包括连接器、内存数据库和请求处理器等组件的初始化。需要注意的一点是，虽然这里ZooKeeper的NIO服务器已经对外开放端口，客户端能够访问到ZooKeeper的客户端服务端口2181，但是此时ZooKeeper服务器是无法正常处理客户端请求的。关于ZooKeeper参数配置。
大数据技术基础实验报告-Zookeeper的安装配置和应用实践.doc
08-21
**大数据技术基础实验报告——Zookeeper的安装配置与应用实践** Apache ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步...
Hadoop快速入门——第四章、zookeeper安装包
04-26
为了在Hadoop环境中安装Zookeeper，你需要按照以下步骤操作： 1. 解压Zookeeper的发行版到指定目录。 2. 修改"zoo.cfg"，根据你的环境配置dataDir、clientPort以及集群配置（如果需要集群部署）。 3. 创建Zookeeper...
zookeeper-3.4.5-cdh5.7.6.tar.gz
08-22
本文将深入探讨CDH5.7.6系列组件——Zookeeper-3.4.5的相关知识点，旨在帮助读者理解其核心功能、架构、配置以及在大数据环境中的应用。 一、Zookeeper概述 Zookeeper源于雅虎研究院的一个研究项目，后来成为...
Zookeeper 监测工具之 ZooInspector
12-14
Zookeeper作为一个分布式协调服务，被广泛应用于大数据、云计算等领域的集群管理。为了确保Zookeeper的稳定运行和高效管理，开发人员和运维人员通常需要借助各种监控工具，而ZooInspector就是其中的一个重要工具。...
大数据课程体系.pdf
06-22
此外，Hadoop的集群结构、独立模式安装、测试、启动与停止，以及SSH的安装配置，都是实际操作中必不可少的知识。 进一步，课程将涉及Hadoop的进阶内容，如伪分布式和完全分布式安装配置，HDFS的工作原理，DataNode...
ZooKeeper 安装，启动，验证
热门推荐
wjacketcn的专栏
03-17 2万+
转自：http://www.cnblogs.com/smartloli/p/4298430.html 2.7.1安装 　　将下载好的安装包，解压到指定位置，这里为直接解压到当前位置，命令如下： tar -zxvf zk-{version}.tar.gz 　　修改zk配置，将zk安装目录下conf/zoo_sample.cfg重命名zoo.cfg，修改其中
ZooKeeper【客户端命令行】
梦想是动物管理员
06-13 2736
ZooKeeper客户端命令行
zookeeper的启动问题
qq_44833146的博客
11-28 283
项目场景： 用jps查看的结果 用./zkCli.sh -server 192.168.2.140:2182测试博报错 [root@hadoop102 bin]# ./zkCli.sh -server 192.168.2.140:2182 用./zkServer.sh status 查看没有启动 [root@hadoop102 bin]# ./zkServer.sh status 问题描述： 1.注意上图中进图的是root用户,同时又进入了atguigu的用户,结果是jps,用kill -
zookeeper安装与启动
weixin_38977651的博客
07-01 2462
zk被设计用于存储协调数据：状态信息、配置、位置信息等，因此每个节点存储的数据一般很小，在B~KB的范围内。•心跳：主机 A, B 通过 tcp 连接发送数据，如果拔掉 A 主机的网线，B 是无法感知到的。•znode维护一个统计结构，其中包括数据更改、ACL更改和时间戳的版本号，每次znode数据更改时，版本号都会增加。•临时节点：只要创建znode的会话处于活动状态，这些znode就存在，当会话结束时，znode被删除。存储内存数据库快照的位置，除非另有说明，否则存储数据库更新的事务日志。
zookeeper ： 安装与启动
u011960623的专栏
09-16 1738
版本：zookeeper-3.6.2 下载 1. 解压之后进入到conf目录，配置cfg文件； // 默认存在的是zoo_sample.cfg，而启动时找的时zoo.cfg文件； cp zoo_sample.cfg zoo.cfg # 通信心跳时间；毫秒；客户端与服务器或者服务器与服务器之间维持心跳 tickTime=2000 # 集群中follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数 initLimit=10 # 集群中flower服务器（F）跟le.
zookeeper
tedfdndg的博客
10-23 7735
一、配置和安装 (1)下载zookeeper-3.4.6.tar.gz 解压 tar xf zookeeper-3.4.6.tar.gz 一般放在opt目录下 mkdir/opt/ly mv zookeeper-3.4.6 /opt/ly (2) yum安装的jdk是开源的openJDK， 最好去oracle的hotspot JVM 需要到官网下载 (3) zookeeper的文件目录配置目录conf中，zoo_sample.cfg 是配置模板，拷贝...
全国技能大赛大数据zookeeper安装部署
06-09
好的，我可以为你提供一些关于大数据zookeeper安装部署的指导。以下是一些基本步骤： 1. 下载Zookeeper安装包，并解压缩到指定的目录。你可以在官方网站上下载Zookeeper的最新版本。 2. 配置Zookeeper。你需要在Zookeeper的conf目录下创建一个zoo.cfg文件，并按照以下格式进行配置： ``` tickTime=2000 initLimit=10 syncLimit=5 dataDir=/var/lib/zookeeper clientPort=2181 server.1=hostname1:2888:3888 server.2=hostname2:2888:3888 server.3=hostname3:2888:3888 ``` 在这个示例中，tickTime是心跳间隔时间（以毫秒为单位），initLimit是zookeeper集合中的节点数量，syncLimit是zookeeper集合中的领导者数量。dataDir是zookeeper数据的目录，clientPort是客户端连接zookeeper的端口号。server.1、server.2、server.3是zookeeper集合的节点列表，每个节点都有一个唯一的ID、主机名和用于传输数据的端口号。 3. 启动Zookeeper。你可以使用以下命令启动zookeeper： ``` bin/zkServer.sh start ``` 4. 验证Zookeeper是否正常运行。你可以使用以下命令连接到Zookeeper： ``` bin/zkCli.sh -server localhost:2181 ``` 如果连接成功，你会看到以下输出： ``` Connecting to localhost:2181 Welcome to ZooKeeper! JLine support is disabled [zk: localhost:2181(CONNECTED) 0] ``` 现在，你已经成功地安装和配置了Zookeeper。接下来，你可以将其用于大数据应用程序中。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZikH~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值