Yarn与Zookeeper学习

已于 2023-07-25 11:11:23 修改
阅读量834 收藏 3
点赞数
分类专栏： hadoop 大数据 Zookeeper 文章标签： zookeeper 学习 分布式
于 2023-07-24 21:12:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42265608/article/details/131890731
版权

YARN学习

1.YARN是什么？

yarn 分配运行资源 mapReduce的运行平台

在这里插入图片描述

2.YARN运行过程：

  1. 客户端与ResourceManager交互，生成临时配置文件(Application)
  2. ResourceManager根据Application信息生成Task然后生成MapReduceApplicationMaster(简称AM)
  3. AM通过和App交互申请MapTask资源，并运行MapTask任务
  4. MapTask资源完毕，申请资源处理ReduceTask,收回Maptask资源 ,ReduceTask完毕，同样收回
    在这里插入图片描述
    为什么是6个??
    图中不是四个就够用么

3.YARN任务调度

1.调度器

1.先进先出 先到先服务
资源排队,

2.容量调度器

单队列变为了多队列
这里,不同队列的资源是可以相互借调的,但是如果银行需要用钱的时候,需要将债直接收回来,而债主的任务直接失败,进行重试.
在这里插入图片描述
在这里插入图片描述
多租户策略,就是,一个队列起码2个job在占用资源.

3.公平调度器

如果资源满足不了job,job就先等着
在这里插入图片描述

4.问题

1. 什么是缺额: 距离运行条件所差的资源就叫缺额
2.DRF

在这里插入图片描述
百分比的比较，谁大就是谁控制

3.什么是虚拟核数?

虚拟核数就是我们自己设定的CPU核数大小,但是当物理核数时,会按照机器的实际核数进行运载,甚至
超载

5.YARN队列如何配置

如何在YARN创建队列
capacity-scheduler
在这里插入图片描述
当前调度器能支持的最大应用数(job)

在这里插入图片描述
applicationMaster

在这里插入图片描述
集群资源的判断标准`

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
acl 与权限有关

在这里插入图片描述
job的最大存活时间
在这里插入图片描述
默认的超时时间

架构模型
调度策略
生产环境通过修改参数调控资源

Zookeeper

1.概念(是什么)?

  • Zookeeper 文件系统+通知机制
  • Zookeeper相当于管理系统，类似于HDFS的NN,而他的DN是服务器和客户端。
  • 注意，创建的都是临时节点,应该是超时删除把或者结束删除。
  • 观察者模式： 当ZK的节点列表发生变化，会通知其他节点。监听实现
  • 数据同步,每个Service上的数据都能保证一定时间内是相同的.

2.模拟

在这里插入图片描述
在这里插入图片描述

问题

  • 为什么半数以上存活？
    如果一半都不存活了，就显得Zookeeper不正常

  • 为什么奇数台服务器好？
    6台错3台 无法运行 5台错3台无法运行，奇数台可以多一个机器。

  • 实时性
    因为Zookeeper不存大量业务数据，所以数据量显得比较少，这样数据更新就很快，保证了实时性。

3.Zookeeper 结构

在这里插入图片描述
路径和数据在一起.

在这里插入图片描述
zkServer.sh 开启关闭ZK
zkCli 开启客户端

4.配置修改zoo.cfg

在这里插入图片描述

1.配置文件名去掉simple
2.修改配置文件内容 修改数据存储路径 添加zookeeper服务器列表

参数1 : tickTime 默认2000ms 通信心跳时间，Zookeeper服务器与客户端心跳时间
参数2 : initLimit 默认10 LF初始通信时限
参数3 : syncLimit 默认5 LF同步通信时限
这三个参数,就表示,默认2秒,Zookeeper客户端和服务器交互一次,
而Zookeeper中,Leader和Follower初始连接时允许的最多心跳数为initLimit,也就是说,Leader和Follower如果在tickTime * initLimit不能完成初次交互,则Follower直接失败.
同步通信时限: 同步,就是日常交互时的通信时限,最多syncLimit次不进行回应,就结束
dataDir: 存储Zookeeper的数据的地址 注意tmp是存储临时文件的,会被Linux定期删除
server.1=hadoop201:2888:3888
server.2=hadoop202:2888:3888
server.3=hadoop203:2888:3888

server.服务器序号 = 服务器地址: Follower与Leader交换信息的端口:选举时互相通信的端口

3.创建数据存储文件夹 创建id文件 ，输入自身服务器序号

5.选举机制(面试)

1.第一次启动
在这里插入图片描述
我的理解，先投自己，如果没Leader，交换信息后，投大的。如果已经有Leader就无法改变。
2.再次选举
在这里插入图片描述
选最强者,数据最全者,
1.保存数据时,有时间戳,进行时间戳比对,(事务ID)
2. 数据同步时,比myid

Zookeeper 默认创造永久节点
create -e 创建临时节点
create -s 带序列永久节点
在这里插入图片描述

递归删除 deleteall
在这里插入图片描述
zookeeper的修改只能整体覆盖
set

反向通知
默认不做反向通知
ls -w 开启监控
在这里插入图片描述
zk通知 但是并不帮忙直接取数据

查看文件信息 stat 文件路径
ls -s /文件路径 也显示子文件

监听(感觉也可以叫触发器)
zk存储监听器列表，

ZK写数据，先发给Leader，Leader再分发出去，然后写入

Zookeeper&YARN
leezsj的博客
07-06 419
Zookeeper&YARN Zookeeper的概述 Zookeeper是什么 1. zookeeper是⼀个为分布式应⽤程序提供的⼀个分布式开源协调服务框架。是Google的Chubby的⼀个开源实现，是Hadoop和Hbase的重要组件。主要⽤于解决分布式集群中应⽤系统的⼀致性问题。 2. 提供了基于类似Unix系统的⽬录节点树⽅式的数据存储。 3. 可⽤于维护和监控存储的数据的状态的变化，通过监控这些数据状态的变化，从⽽达到基于数据的集群管理 4. 提供了⼀组原语(机器指令)，提供了
Hadoop-2.8.1+Zookeeper-3.4.6(HDFS,YARN HA)部署指南
12-26
根据提供的文档内容，本文将详细解析Hadoop-2.8.1与Zookeeper-3.4.6在高可用环境下的部署步骤与注意事项，重点包括版本兼容性、主机规划、目录规划以及常用的脚本与命令。 ### 版本兼容性 在搭建Hadoop集群时，...
Yarn与ZooKeeper
shi_zi_183的博客
10-19 1866
Yarn与ZooKeeper Yarn是MapReduce引入的资源管理器，它的出现为集群在资源利用率、资源统一管理和数据共享等方面带来了巨大好处。ZooKeeper是一个分布式的、开源的协调服务框架，ZooKeeper出现就是为例减轻分布式应用实现协调服务的负担。 Yarn资源管理与调度 Yarn产生背景 在早期的Hadoop中，MRv1采用Master/Slave(M/S)框架，主要包括Client、JobTracker、TaskTracker和Task几个部分。其中JobTarcker负责整个系统的作
Yarn与Zookeeper的介绍
最新发布
m0_65395640的博客
04-01 1920
概述:它是一款非常好用的 大数据分布式协调服务组件, 主要是用来帮助我们管理大数据进群的, 例如: 主备切换, 选举机制, 全局数据一致性...吉祥物是: 1个拿着铁锹的小人.本质:ZK本身也是1个小型的分布式文件存储系统, 采用ZNode节点的方式来存储数据, 底层是: 树形结构. 每个节点的大小不能超过: 1MB.回顾: 树形结构特点:1. 有且只能有1个根节点.2. 每个节点都有若干个子节点及1个父节点(根节点除外)3. 没有子节点的节点称之为: 叶子节点.
资源管理（大数据）：Zookeeper、 Yarn简介、原理
wuxiaobingandbob的专栏
11-01 661
https://blog.csdn.net/wzk646795873/article/details/79583218 Zookeeper Zookeeper是一个分布式协调服务，一个leader，多个follower组成的集群，就是为用户的分布式应用程序提供协调服务。 Zookeeper是为别的分布式程序服务的。 Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配...
YARN和Zookeeper的区别
hxxjxw的博客
08-26 1969
Yarn——分布式资源管理器 Zookeeper——分布式协作服务 大数据组件中，Yarn是一个分布式管理系统，Zookeeper也是一个分布式管理系统，为什么一套体系中，会运行两个管理系统？Yarn和Zookeeper的区别和联系是什么？ Zookeeper和Yarn是一起工作的，它们一起管理资源。 Yarn是一个分布式资源调度器组件。这个组件的主要作用是在每次接收到请求后，会查看当下的各个子节点的状况，统筹出运算资源的调度方案来保证任务可以顺利执行。通常来说，Yarn所调度的资源常常包括..
CDH5.10.0离线集群部署：HDFS、YARN、ZooKeeper与MySQL安装指南
"CDH5.10.0离线安装部署文档，使用3台青云云主机，安装服务包括HDFS、YARN和ZooKeeper。MySQL部署涉及下载、解压、创建组和用户以及配置my.cnf文件。" 在离线环境下部署CDH 5.10.0集群，首先需要对集群进行规划和...
yarn和zookeeper有啥区别
07-20
Yarn 和 Zookeeper 是两个完全不同的技术，它们在分布式系统中扮演着不同的角色。 Yarn（Yet Another Resource Negotiator）是一个用于集群资源管理和作业调度的分布式系统框架。它是 Apache Hadoop 生态系统的一...
大数据数仓组件解析与优化：Hadoop、Yarn、Zookeeper
4. YARN（Yet Another Resource Negotiator）：这是一个资源管理和调度系统，负责分配集群资源以运行应用程序。ResourceManager作为主节点接收并调度任务，而NodeManager则在各个节点上运行任务。 5. MapReduce：这...
Yarn(分布式资源管理器)和Zookeeper(分布式协作服务)区别
abcd1101的专栏
05-08 1172
Zookeeper Zookeeper是一个分布式协调服务（Coordination），一个leader，多个follower组成的集群，就是为用户的分布式应用程序提供协调服务。 Zookeeper是为别的分布式程序服务的。Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务等。 Yarn YARN的目标就是实现“一个集群多个...
spark 集群环境开发部署（hadoop，yarn，zookeeper，alluxio，idea开发环境）
10-25
个人总结的集群搭建运行事例环境文档。条理清晰。有spark standalone模式 yarn模式 zookeeper的搭建 还有分布式文件系统hdfs hadoop搭建，内存式文件系统alluxio。开发环境的搭建idea for scala 的配置 ，和打包事例
YARN与Zookeeper区别及联系
紫蝶侠的博客
03-14 1044
YARN与Zookeeper区别及联系
yarn/zookeeper/solr/elasticsearch概况总结
xuexi_39的博客
10-11 495
一、Yarn简单概况 Yarn为Hadoop资源管理系统；核心是将MapReduce V2 中的JobTracker分离，创建一个全局的ResourceManager和若干个针对应用程序的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。基本架构如下所示： 1）Yarn构成：主要由...
对Zookeeper和Yarn的区别和联系的通俗理解
jiayunfei521的博客
12-13 1703
学习一段时间的大数据技术，总是对里面zookeeper和yarn的功能模糊不清，于是收集一些资料，帮助自己简单的理解一下。 Yarn的作用 Yarn是一个分布式资源调度器组件。这个组件的主要作用是在每次接收到请求后，会查看当下的各个子节点的状况，统筹出运算资源的调度方案来保证任务可以顺利执行。通常来说，Yarn所调度的资源常常包括磁盘空间的资源，内存的资源和通讯带宽的资源等。Yarn是Hado...
用一个例子了解Yarn和Zookeeper之间是什么关系
jiayunfei521的博客
11-28 875
Zookeeper和Yarn是一起工作的，它们一起管理资源。 举例说明： 在一个分布式系统上。现在有个事要办。我们要找这个系统办这个事，就要通知yarn。打个比方，yarn的master node看看这个系统里有很多node，看看谁有空，谁有能力（cpu、内存、等）来干这个事。然后把任务分配给合适的node来办这个事。 这个时候系统面临一个危险。那就是在分布式系统中，failure成为常态。yar...
YARN，ZOOKEERPER--学习笔记
yfq_29的博客
11-19 342
yarn,zookeeper基础知识
Yarn与Zookeeper(Eureka)对比
点点的博客
03-10 820
一、解决问题： Yarn Zookeeper(Eureka) 1、可扩展性：下一代计算平台应该可以平滑地扩展到数万个节点和并发的应用。 1、配置管理：统一配置文件分发并且及时让worker生效。 2、可维护性：下一代计算平台应该保证集群升级与用户应用程序的完全解耦。 2、 集群管理和Master选举：Master节点高可用，并且保证唯一 。 3、多租户：下一代计算平台需要支...
三分钟入门大数据之ZooKeeper和Yarn之间的区别与联系是什么？
汉斯的工作站
10-08 698
哈喽，大家好，我是汉斯老师。近几年来，互联网行业由于较高的薪资收入，受到许多人的追捧。很多年轻的学子，或是其他行业的有志青年，都想要投身到这个行业中来。然而一方面受到“互联网寒冬”的影响，最近频频传出各家知名互联网公司裁员缩编的消息；另一方面，大量的人才涌入，又使得互联网产业在职场上呈现出供过于求的特征，并最终导致了职场上的激烈竞争。那么互联网行业未来的潜力在哪里？我们又应该在哪个方向上发力，才...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值