源码走读-Yarn-ResourceManager01-基础概念

最新推荐文章于 2024-03-06 23:31:25 发布
最新推荐文章于 2024-03-06 23:31:25 发布
阅读量1.6k 收藏 4
点赞数 3
分类专栏： hadoop yarn 原理 文章标签： yarn hadoop 原理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baichoufei90/article/details/82706873
版权
hadoop 同时被 3 个专栏收录
15 篇文章 1 订阅
订阅专栏
yarn
11 篇文章 0 订阅
订阅专栏
原理
1 篇文章 0 订阅
订阅专栏
本文深入剖析YARN的源码，从2.6.0-cdh5.8.2版本出发，逐步解读ResourceManager的启动过程及核心调度机制，包括FairScheduler的实现细节，适合希望深入了解YARN内部机制的读者。
摘要由CSDN通过智能技术生成

0x00 系列文章目录

  1. 源码走读-Yarn-ResourceManager01-基础概念
  2. 源码走读-Yarn-ResourceManager02-RM的启动-脚本
  3. 源码走读-Yarn-ResourceManager03-RM的启动之RM详解
  4. 源码走读-Yarn-ResourceManager04-RM调度之FairScheduler
  5. 源码走读-Yarn-ResourceManager05-MR任务提交-客户端侧分析
  6. 源码走读-Yarn-ResourceManager06-MR任务提交-服务端分析
  7. 源码走读-Yarn-ResourceManager07-ShutdownHookManager
  8. 源码走读-Yarn-ResourceManager08-总结

摘要

Yarn作为一款热度颇高的开源资源调度器，对他的源码分析有助于大家理解其内部执行机制。本文基于2.6.0-cdh5.8.2，仅供参考。

第一章我们先了解下Yarn的一些基本概念，读完这一章可以了解Yarn的基本的框架和流程，以便更快更好的阅读理解后面章节。

正文

参见Yarn学习

小结

第一章讲解了Yarn的基本概念，并以MapReduce为实例讲解了作业在yarn上运行基本流程，我们可以对yarn有一定基本的认识。下一章我们开始阅读源码。
下一章：源码走读-Yarn-ResourceManager02-RM的启动-脚本

迷路剑客
关注
专栏目录
YARN Resource Manager 资源调度器
weixin_39950222的博客
09-09 275
http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-memory-cpu-scheduling/ http://dongxicheng.org/mapreduce-nextgen/yarnmrv2-resource-manager-resource-manager/ 在YARN中，资源调度器（ResourceScheduler）是一个非常核...
hadoop 之源码 ResourceManager
乄浅醉的专栏
05-10 525
hadoop RM /** * The ResourceManager is the main class that is a set of components. * "I am the ResourceManager. All your resources belong to us..." * */ @SuppressWarnings("unchecked") public class
velocity源码分析：初始化之ResourceManager
kuwoleft
09-06 141
之前在“velocity源码分析：velocity初始化”文章中粗略地介绍了velocity整体的初始化过程，包括各个系统的初始化，本文主要介绍Resource相关初始化，本文内容涉及到的概念比较多，也是velocity中比较重要的一部分初始化内容，期间设计到代码使用的template等概念。 还是先以一张类图开始，如图1： (图1) ...
源码走读-Yarn-ResourceManager08-总结
迷路剑客个人博客
09-13 403
0xFD 单元测试 下面说下调试的时候的一些单元测试： hadoop-2.6.0-cdh5.8.2/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/src/test/java/org/apache/hadoop/yarn/server/resourcemanager/sc...
Hadoop yarn源码分析（三） ResourceManager 2021SC@SDUSC
LeBron_W的博客
10-24 428
2021SC@SDUSC Hadoop yarn源码分析（三） ResourceManager一、ResourceManager简介 一、ResourceManager简介 Yarn的三大核心组件为ResourceManager(RM)，ApplicationMaster(AM)，NodeMananger(NM)。在Hadoop yarn中， ResourceManager负责集群中所有资源的统一管理和分配， 它接收来自各个节点（NodeManager） 的资源汇报信息， 并把接收到的信息按照一定的策略分配
k8s源码走读-----replicasSetcontroller
sixinchao_1的博客
10-19 462
一、介绍 replicasSet作用 主要负责使pod的个数保持期望的状态。 版本：1.19 二、流程 1、启动 所有的controller的启动逻辑基本都一样。kubecontroller-manage组件启动时，会统一启动所有的controller。 func NewControllerInitializers(loopMode ControllerLoopMode) map[string]InitFunc { ..... controllers["replicationcontroller"] =
java8源码-java8-source:java8源码走读
06-04
IDEA走读Java源码坏境搭建 新建一个普通java项目（如：java8-source） 创建package（tech.sqlclub.java_source）存放java源码 java源码在$JAVA_HOME/src.zip 解压就行，mac用户JAVA_HOME查看如下图： 通过Debug，撸...
Apache Spark源码走读之4 -- DStream实时流数据处理
01-06
### Apache Spark源码走读之四：DStream实时流数据处理 #### 一、系统概述与流数据特性 本文档探讨了Apache Spark Streaming的核心概念之一——**DStream**（Discretized Stream）及其如何实现对实时流数据的有效...
Apache Spark源码走读之2 -- Job的提交与运行
01-06
4. 作业的拆分与调度：Spark的作业调度是基于stage的概念，即根据RDD之间的依赖关系，将作业拆分成多个stage，每个stage包含一组可以并行执行的任务（task）。 5. 任务的提交与执行：任务被提交给集群进行实际的...
Apache Spark源码走读之5 -- DStream处理的容错性分析
01-06
### Apache Spark源码走读之五：DStream处理的容错性分析 #### 环境搭建与背景 为了深入理解Apache Spark Streaming中DStream处理的容错机制，本文将从一个简单的Spark Streaming示例出发，逐步分析Spark如何确保...
Yarn ResourceManager HA配置
03-14
Yarn ResourceManager HA配置，Yarn ResourceManager HA配置
ResourceManager:资源管理器
06-28
资源管理器 ======================== 简单的介绍 ResourceManager This project is for Heterogeneous Network Environment Resource Management Use Bandwidth Broker to handle Terminals's Resource Request Using DiffServ Protocal COPS-PR The System contains two main parts JRRM/RRM/LRRM and terminal MPDP/PDP/PEP
研磨Hadoop源码（六）ResourceManager启动分析2
02-26 1346
紧接上一篇http://blog.csdn.net/yangfei001/article/details/18674357 这里主要从源码分析一下ResourceManager的main方法主要做了哪些事情： main方法中，主要就是下面这段代码 //获取配置信息 Configuration conf = new YarnConfiguration(); //实例化一个资源管理器 Res
YARN (一) ResourceManager
lifuxin73的博客
05-28 131
ResourceManager： RMActiveServices： 成员: applicationMasterLauncher: 生成Launch事件,与对应的nodemanager通信,让其准备启动的新的AM的Container。 ApplicationMasterService： applicationMasterLauncher： 成员： LauncherThread：启动线程，从队列中取出相应RMAppAttempt， 通知NodeManager， handle(...
YARN/MRv2 ResourceManager端 源码分析1
05-21 129
2. ResourceManager端 Client端通过YarnRunner.submitJob()将Application提交给了ResourceManager。 连接Client与ResourceManager的协议为ClientRMProtocol，该协议的实现类为ClientRMService。 1) ClientRMService.java Client端与Resou...
【YARN】详解 YARN 中的 ResourceManager
最新发布
书山有路，学海无涯。记录成长，追逐梦想
03-06 2129
ClientRMService 本质是 RPC Server（实现 ApplicationClientProtocol），给客户端提供 RPC 服务。ClientRMService 中保留了 RM 上下文对象 RMContext，中央异步调度器（AsyncDispatcher）通过 RMContext 来获取节点列表、队列组织和应用列表等信息来响应客户端请求。
yarn 3.2源码分析之ResourceManager
lzf的博客
04-15 882
概述 ResourceManager是一系列组件的集合。它会加载core-site.xml和yarn-site.xml，同时创建yarn scheduler、RMAppManager等一系列组件。 创建yarn scheduler 获取yarn.resourcemanager.scheduler.class配置项，默认是CapacityScheduler public stati...
详解yarn的resource manager组件
学亮编程手记
05-22 465
详解yarn的resource manager组件
总结YARN中的三种资源调度器（Resource manager中）
airyv的博客
07-20 4023
YARN是对应用进行资源分配，应用是指applicatoin master，用来处理job的YARN的应用进程。 （1）MapReduce采用的模型是一个用户作业对应一个应用。 （2）Spark采用的是作业的每个工作流或每个用户的对话对应一个应用。效率比第一种高。 （3）多个用户共享一个长期运行的应用。 FIFO调度器（FIFO Scheduler） Hadoop最初设计时的调度器，为单队列调度器，无法充分利用硬件资源。先进先出队列，先为第一个应用请求资源，第一个满足后再依次为队列下一个提供服务，不适合共.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值