Zookeeper

已于 2022-11-10 16:07:45 修改
阅读量214 收藏
点赞数
文章标签： hadoop
于 2020-08-24 19:32:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoxiao______/article/details/108193557
版权

Zookeeper

什么是Zookeeper

是一个分布式协调服务，就是为用户的分布式程序提供协调服务。
本身也是一个分布式程序（只要节点半数以上存活，zookeeper就可以对外提供服务）
是为别的分布式程序服务的
在这里插入图片描述

作用

核心功能：
1、管理用户程序提交的数据（数据一般多为状态信息）
2、为用户程序提供数据节点的监听服务

应用场景：
1、主从协调
2、服务器的动态上下线
3、统一的配置管理
4、统一的名称服务

网站系统动态上下线
网站系统动态上下线
爬虫系统动态上下线
爬虫系统动态上下线

分布式共享锁：
在这里插入图片描述

特点

1、zookeeper集群包含两个角色：Leader 、follower
2、全局数据的一致性：每一个server都保存了一份相同的数据副本。client无论连接哪个server数据都是一致的
3、分布式读写，更新请求转发，写请求只能与leader来实现。follower会将请求发给 leader来写（随便一台机器都可以读），更新数据请求要顺序执行（按照请求按照发送的前后顺序执行）。
3、数据更新的原子性：一次数据要么更新成功，要么更新失败（leader和follwer一致）
4、实时性：在一定时间范围内，client能读到最新的数据（follwer发送需要些的内容发给leader，然后leader写入需要一定时间）
5、数据全局一致性
6、只是存储数据的状态

安装

zookeeper的架构
在这里插入图片描述

1、解压并配置环境变量
tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/apps
cd /opt/apps

drwxr-xr-x. 10 tom  tom  4096 3月  23 2017 zookeeper-3.4.10

chown root:root -R zookeeper-3.4.10

vi /etc/profile
source /etc/profile

配置zk的参数

cd zookeeper-3.4.10/conf
cp zoo_sample.cfg zoo.cfg

vi zoo.cfg

# The number of milliseconds of each tick
tickTime=2000     # 每个心跳的间隔时间2秒
# The number of ticks that the initial
# synchronization phase can take
initLimit=10  # 初始化zk的等待时间 10次心跳
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5  #超时时间
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/opt/apps/zookeeper-3.4.10/data
# the port at which the clients will connect
clientPort=2181   # 对客户端暴露的端口号

# 增加以下内容，配置服务器节点
#autopurge.purgeInterval=1
server.1=qianfeng001:2888:3888
server.2=qianfeng002:2888:3888
server.3=qianfeng003:2888:3888


:wq 保存

cd ..
创建dataDir
mkdir data

echo "1" >> data/myid


分发安装包
cd ..

scp -r zookeeper-3.4.10 root@qianfeng002:$PWD
scp -r zookeeper-3.4.10 root@qianfeng003:$PWD


修改其他节点上的myid文件内容
qianfeng002:
echo "2" >/opt/apps/zookeeper-3.4.10/data/myid

qianfeng003:
echo "3" >/opt/apps/zookeeper-3.4.10/data/myid

启动zk
bin/zkServer.sh start

bin/zkServer.sh status

选举机制

1、全新集群，第一次启动zookeeper的选举过程（Id大的为老大）

先启动第一台机器，选举，第一台机器发送选票，满足不了半数存活的要求，LOOKING状态

继续启动第二个机器，选举，第一轮选举，平手，都知道对方的存在。第二轮选举，都选Id号大的，则选出2为Leader

。。。。

2、非全新集群启动过程，选举机制：

1、由 数据的version，节点的Id、逻辑时钟来决定谁是老大

数据的version，数据新的version就大

逻辑：

1、逻辑时钟小的选举结果被忽略，会重新投票

​ leader挂了，选举的过程中，leader又起来了

2、统一逻辑时钟，数据版本大的为大

3、数据版本相同，Id大的为leader

操作

shell

bin/zkCli.sh （进入zookeeper）

help
ZooKeeper -server host:port cmd args
        stat path [watch]
        set path data [version]   修改数据
        ls path [watch]   加上watch监听数据
        delquota [-n|-b] path
        ls2 path [watch]
        setAcl path acl
        setquota -n|-b val path
        history
        redo cmdno
        printwatches on|off
        delete path [version]
        sync path
        listquota path
        rmr path
        get path [watch]     获取某个目录的数据
        create [-s] [-e] path data acl
        addauth scheme auth
        quit
        getAcl path
        close
        connect host:port

zookeeper下的目录称为znode
znode的数据大小限制最大为1M
zookeeper一般来说都是用来记录数据的状态信息
在这里插入图片描述

节点类型

在这里插入图片描述

1、创建短暂的节点（只在创建的客户端存在的情况下存在，如果创建的客户端断开与服务端的连接，节点会自动删除）
create -e sz2222222 86465485
2、创建带序列的节点(默认的所有的节点在创建的时候都有一个序号，都是序列的。只不过-s表示序号显示在节点名称上。每一个目录下的序号都是重新从0开始，创建节点时加不加-s参数，节点都占用一个序号)
create -s sz2222222 86465485

监听器：
ls path [watch] 加上watch监听数据
get path [watch]

每个监听器只执行一次

高可用（HA）hadoop2.xx之后出现 7*24小时不间断服务

为什么要用高可用

在这里插入图片描述

高可用机制的两个改变：

在这里插入图片描述

1、元数据的存储方式发生了变化，从namenode改变到Qjournal服务器
2、状态的改变 用ZKFC来控制

预防脑裂的方式：1、ssh kill-9 namenode  2、自定义脚本

yarn的高可用 补图

在这里插入图片描述

搭建高可用（HA）

组成：
HDFS：
namenode 2个
datanode n个
zookeeper 3个（奇数个）
Qjournal 3个
ZKFC 2个

YARN：
resourceManager n个
nodemanager n个

规划：
zookeeper一般是单独的集群 Qjournal 3个
active 的namenode 单独一台
active的resourcemanager单独一台
standby：随便
datanode/nodemanager n台
在这里插入图片描述

配置HA

配置ssh免密，从备用namenode到其他节点（因为备用namenode随时可能成为老大）

配置hdfs的高可用

1、vi hdfs-site.xml
在这里插入图片描述


在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2、vi core-site.xml
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
3、分发
在这里插入图片描述

重新升级或重新格式化

升级步骤：
1、启动journal node
在这里插入图片描述
2、启动以前节点上的namenode
在这里插入图片描述
3、在新的namenode节点上执行同步镜像文件（在其他机器上）
在这里插入图片描述
4、同步日志文件到journal node上，在旧的namenode节点上执行
在这里插入图片描述
5、格式化ZKFC（在旧的namenode上做）
在这里插入图片描述
6、启动hdfs
start-dfs，sh

重新格式化步骤：

1、删除所有节点上的hadoop data 目录
2、启动ZK（所有节点）
3、启动journalnode（所有节点）
4、格式化namenode（只需要namenode上做）
5、同步fsimage
6、关闭namenode
7、格式化ZKFC
8、启动
在这里插入图片描述
在这里插入图片描述

配置yarn的高可用

yarn-site.xml配置

<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<!--是否启动yarn的rm的HA功能-->
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>

<!--是否开启失败自动转移-->
<property>
<name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
<value>false</value>
</property>

<!--yarn的rm的HA的服务ID-->
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>qianfengyarn</value>
</property>
<!--yarn的rm的HA的服务ids的逻辑rmid的列表-->
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<!--为逻辑rm1配置所启动的主机-->
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>hadoop01</value>
</property>
<!--为逻辑rm2配置所启动的主机-->
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>hadoop02</value>
</property>
<!--为逻辑rm1配置web ui监控端口-->
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>hadoop01:8088</value>
</property>
<!--为逻辑rm2配置web ui监控端口-->
<property>
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>hadoop02:8088</value>
</property>
<!--配置zk集群所在主机-->
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>

</configuration>

HA的管理员命令

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

xiaoxiao______
关注
hadoop入门【8】使用zookeeper确保namenode、resourcemanager的高可用性
万和IT教育
06-04 504
上一篇文章，我们完成了hadoop的集群安装，但从机子的节点分布图中我们可以看到namenode只在master机子上存在，一旦该机子宕机，则HDFS停服，所以我们需要一种机制来保证namenode的高可用性，这种风险也存在于resourcemanager。本文将阐述使用zookeeper来保证namenode以及resourcemanager的高可用性。 1 系统、软件和约束前提 完成在三台...
什么是Zookeeper，Zookeeper的作用是什么，在Hadoop及hbase中具体作用是什么
hjpcb的专栏
04-05 2436
什么是Zookeeper，Zookeeper的作用是什么，它与NameNode及HMaster如何协作？在没有接触Zookeeper的同学，或许会有这些疑问。这里给大家总结一下。 一、什么是Zookeeper  ZooKeeper 顾名思义 动物园管理员，他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig)  的管理员， Apache Hbase和 Apache S
namenode ha by zookeeper
weixin_33860553的博客
07-20 114
tickTime=2000initLimit=10syncLimit=5clientPort=2181dataDir=/home/tim/zkdataserver.1=tim-dn1:2888:3888server.2=tim-dn2:2888:3888server.3=tim-dn3:2888:3888core-site.xml<configuration> ...
hadoop2.x通过Zookeeper来实现namenode的HA方案以及ResourceManager单点故障的解决方案
runwuwushengxiyu的博客
08-10 113
hadoop2.x通过Zookeeper来实现namenode的HA方案以及ResourceManager单点故障的解决方案
zookeeper 3.8.4
最新发布
05-17
**ZooKeeper 3.8.4：分布式协调服务详解** Apache ZooKeeper 是一个高度可靠的分布式协调服务，广泛应用于大数据、云计算以及微服务等领域的分布式系统中。Zookeeper 3.8.4 版本是该项目的最新稳定版本，提供了一...
zookeeper-3.9.1.zip
12-19
Apache ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它是集群的管理者，监视着分布式应用程序的运行状态，提供诸如命名服务、配置管理、分布式同步、组服务等分布式基础服务。Zookeeper的设计目标...
zookeeper-3.4.6_zookeeper_
10-04
《Zookeeper：分布式服务治理的核心组件》 Zookeeper，作为Apache的一个开源项目，是分布式应用程序协调服务的基石，它是一个高可用、高性能的分布式一致性服务。在标题“zookeeper-3.4.6_zookeeper_”中，我们可以...
apache-zookeeper-3.8.4-bin.tar
04-10
Apache ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它是集群的管理者，监视着分布式应用程序，提供了诸如配置维护、命名服务、分布式同步、组服务等这些分布式基础服务。Zookeeper是Apache Hadoop...
zookeeper连接工具
07-05
Zookeeper是一个分布式协调服务，由Apache Hadoop项目开发，广泛应用于大数据生态系统中，如HBase、Kafka等。它提供了一种可靠的方式来管理配置信息、命名服务、分布式同步以及组服务。Zookeeper连接工具则是为了...
zookeeper环境的搭建,来实现namenode的高可用(HA)(第一篇)
最长的电影
03-27 477
zookeeper来实现namenode的高可用(HA)(第一篇,此篇讲解搭建zookeeper环境)   机器设备:为了叙述方面 采用nodeX的形式来表示主机名 192.168.159.31(node1)                Namenode   192.168.159.32(node2) zookeeper      Datanode     JN(JournalNo...
Zookeeper简介及安装，以及Hadoop的HA集群(hdfs的namenode和yarn的resourcemanager)配置
hailunw的专栏
06-14 452
Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。Zo ...
zookeeper的znode最多可以存储多大数据
ChengYanan的博客
01-12 4578
看到Solr将index的配置文件放在zookeeper的znode中，所以就查询了相关问题： 官方给的解释是1M，但是不建议存储太大的数据 https://zookeeper.apache.org/doc/r3.6.2/zookeeperProgrammers.html#Data+Access 翻译过来就是： 存储在namespace中每个znode上的数据以原子方式读取和写入。 读取将获取与znode关联的所有数据字节，而写入将替换所有数据。 每个节点都有一个访问控制列表(ACL)，用来限制谁可以做什
Zookeeper应用场景及Znode容量问题
wangshuang1631的博客
02-14 8712
Zookeeper是一个高可用的数据管理与系统协调框架，什么意思呢？简单来说就是Zookeeper可以在分布式环境中保证数据的强一致性。主要的应用场景如下： 数据发布于订阅：使用Zookeeper作为配置中心，发布者者将数据发布到Zookeeper节点上，订阅者实时获取数据，从而实现配置信息的集中式管理和动态更新。 负载均衡：在分布式环境中，一般服务提供方都会将服务部署多份，达到对等服务。服务消费方
Zookeeper——保证HDFS的高可用性
又小雨的博客
07-08 1503
一、Zookeeper ----- 保证HDFS系统的高可用性 1.zookeeper在解决HDFS的NameNode过程中存在的问题 1. NameNode在hdfs系统中只能存在一个存在单点故障风险 2. NameNode备机在检测等待主机挂掉的过程中一直处于空闲状态造成的资源浪费 3. NameNode仍然存在少量数据丢失的问题（在主机挂机的前一刻记录的日志信息还没来得及持久化） 4. NameNode假死和双主问题（当主机只是暂时的失联，zookeeper认为他宕机了，就让备胎上位，然而主机这时候并
zookeeper注意几点
weixin_33842304的博客
05-21 164
为什么80%的码农都做不了架构师？>>> ...
NameServer、Zookeeper，傻傻分不清楚
05-15 550
前言 前面几篇没有看的，建议点赞、收藏、关注三连，因为你可能会把我这个有趣的灵魂丢了，虽然我不想丢了你，但是如果你强行离开我，我也没法沿着网线找到你家去，我只能默默的写下一篇篇文章来继续打动你，继续来卑微的给你要关注 消息队列RocketMQ版是阿里云基于Apache RocketMQ构建的低延迟、高并发、高可用、高可靠的分布式消息中间件。 这是华丽的分割线 我们知道RocketMQ是个消息队列，这个消息队列是分为多个组件的，其中包括broker、producer、consumer等，那么这些个组件.
注册中心ZK、nameServer、eureka、Nacos介绍与对比
装睡的小5郎的博客
11-01 1125
微服务架构是存在着很多跨服务调用，每个服务都存在着多个节点，如果有多个提供者和消费者，当提供者增加/减少或者消费者增加/减少，双方都需要感知发现。所以诞生了注册中心这个中间件。市面上有很多注册中心，如 Zookeeper、NameServer、Eureka、Nacos，下面我来讲一下它们的特点、应用和区别。
RocketMQ 不使用 ZooKeeper 作为注册中心的原因，以及自制的 NameServer 优缺点？
SO_zxn的博客
03-30 501
RocketMQ 不使用 ZooKeeper 作为注册中心的原因，以及自制的 NameServer 优缺点？
Zookeeper基础操作指南
"这篇文档是关于在学习Spring框架过程中，如何使用和管理Zookeeper的一份命令集合。Zookeeper是一个分布式协调服务，常用于管理大型分布式系统。以下是一些基本的Zookeeper操作命令，包括安装、配置查看、状态检查...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值