2020.915yarn基本结构和zookeeper基本结构_yarn那么主从结构-CSDN博客

本文链接：https://blog.csdn.net/m0_49140390/article/details/108606915

一、yarn基本结构

1.YARN(Yet Another Resource Negotiator)核心思想：是将资源管理和任务的监控和调度分离

一、yarn基本结构

1.YARN(Yet Another Resource Negotiator)核心思想：是将资源管理和任务的监控和调度分离

（1）通用的资源管理系统，可为不同的应用（MapReduce、Spark、Flink等）提供统一的资源管理和调度

（2）它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处

2.YARN的基本架构核心组件

（1）YARN的架构是master/slaves的主从架构

master: ResourceManager-> 全局资源管理，负责集群全局统一的资源管理、调度、分配

slave: NodeManager-> 节点资源管理器，启动了NodeManager进程的节点，负责管理节点的资源及使用情况

（2）YARN核心组件（包含ResourceManager和NodeManager） ApplicationMaster（ApplicationManager任命）

Container

3. YARN架构核心组件- ResouceManager

ResourceManager组成

ResourceScheduler-> 资源调度器，根据节点的容量、队列情况，为应用程序分配资源

Application Manager-> 应用程序管理器，负责接受Client端传输的job请求

ResourceManager功能

处理客户端请求

监控NodeManager

启动和监控ApplicationMaster，进行必要的重启

整个系统的资源分配和调度

4.YARN架构核心组件- NodeManager

NodeManager功能:

本节点上的资源管理和任务管理定时向ResourceManager汇报本节点上的资源使用情况和各个Container的运行情况

接收和处理来自ResourceManager的Container启动和停止的各种命令

处理来自ApplicationMaster的指令,比如启动MapTask和ReduceTask指令

5.YARN架构核心组件- ApplicationMaster

ApplicationMaster功能

每个应用程序对应一个ApplicationMaster，负责单个应用程序的管理

负责数据切分

为应用程序向ResourceManager申请资源(Container)，并分配内部任务（MapTask和ReduceTask)

与NodeManager通信来启动/停止任务，Task都是运行在Container中的

负责任务的监控和容错，当某些Task运行出错，进行容错处理

6.ARN架构核心组件- Container

Container是YARN中的资源抽象，封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等，Container类似于一个虚拟机，可以在上面执行任务

三、YARN的工作机制

四、yarn应用

1.Yarn上提交MapReduce程序

hadoop jar jar名 wordcount hdfs输入路径 hdfs输出路径

2.启动jobHistoryServer

mr-jobhistory-daemon.sh start historyserver

3.目前Hadoop作业调度器有三种

FIFO：先进先出调度器

Capacity Scheduler：容量调度器

Fair Scheduler：公平调度器

默认的作业调度器可以在yarn-default.xml文件中查看，属性如下 :yarn.resourcemanager.scheduler.class Hadoop版本2.6.0-cdh5.14.2的默认调度器是公平调度器

五.补充：

任务管理查看正在运行的任务

yarn application -list 杀掉正在运行的任务

yarn application -kill 任务id 节点管理查看节点列表

yarn node -list 查看节点状态

yarn node -status 节点ID

六、Zookeeper

1.简介：

Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目

Zookeeper=文件系统+通知机制

Zookeeper从设计模式上来看是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册。

一旦数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应，从而实现集群中类似Master/Slave管理模式

2.Zookeeper数据结构

znode

ZooKeeper数据模型的结构与Linux文件系统很像，整体上可以看作是一棵树，树的每个节点称做一个znode。每一个znode默认能够存储1MB的数据，每个znode都可以通过其路径唯一标识

节点类型

PERSISTENT：持久化节点，默认类型

PERSISTENT_SEQUENTIAL：持久化顺序编号节点

EPHEMERAL：临时节点

EPHEMERAL_SEQUENTIAL：临时顺序编号节点

3.ZooKeeper客户端命令

命令基本语法	命令功能描述
help	显示所有操作命令
ls path	使用 ls 命令查看当前 znode 中所包含的内容
ls2	查看当前节点数据并能看到更新次数等数据
create	创建节点，默认是持久化节点 create -s ：创建带序列的节点 create -e ：创建临时节点
get path	获取节点的值
set	设置节点的具体值
stat	查看节点状态
delete	删除节点
rmr	递归删除节点