![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
yarn
文章平均质量分 79
李孟聊人工智能
独立开源软件开发者,SolidUI作者。老程序员,老扑街作者,依然奋战在开源一线,依然继续写文章。
展开
-
Hadoop-Yarn架构
一.简介 YARN(Yet Another Resource Negotiator)是一个通用的资源管理平台,可为各类计算框架提供资源的管理和调度。其核心出发点是为了分离资源管理与作业调度/监控,实现分离的做法是拥有一个全局资源管理器(ResourceManager,RM),以及每个应用程序对应一个应用管理器(ApplicationMaster,AM),应用程序由一个作业(Job)或者Job的有向无环图(DAG)组成。 功能 资源的统一管理和调度:集群中所有的节点资源(内存、CPU、磁盘、网络等)抽象原创 2020-10-01 21:20:00 · 2216 阅读 · 1 评论 -
Hadoop-Yarn源码-服务库与事件库
一.服务库 本文分析Hadoop2.6源码,生命周期长的对象,Yarn采用基于服务的对象管理模型对其进行管理。 特点 将每个被服务化的对象分为4个状态:NOTINITED(被创建)、INITED(已初始化)、STARTED(已启动)、STOPPED(停止)。 任何服务状态变化都可以出发另外一些动作。 可通过组合方式对任意服务进行组合,以便管理。 Yarn的服务模型的类图(org.apache.hadoop.service),定义基本服务初始化,启动,停止等操作,AbstractService提供了一原创 2020-08-24 15:07:17 · 956 阅读 · 0 评论 -
Hadoop-Yarn源码-RPC基础
一.简介 一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式程序在内的应用程序更加轻易。 (Hadoop 2.6版本) 二.RPC通信模型 RPC通常采用客户机/服务器模型。 RPC处理过程 客户程序以本地方式调用系统产生的Stub程序 该Stub程序将函数调用信息按照网络通信模块要求封装成消息包,并交给通信模块发送到远程服原创 2020-06-30 22:41:38 · 1051 阅读 · 0 评论