Yarn
文章平均质量分 93
蛋挞_Bao
这个作者很懒,什么都没留下…
展开
-
Yarn组件简介
Yarn基础介绍Ps:在博文开始前,需要说明的是该篇文章有部分的内容和图片摘自网上一些博主的博客,若有冒犯请知会我删除该部分内容,也感谢这些博主的博客给我在学习yarn组件时给予的莫大帮助。一、Yarn的发展史1) MRv1引入JobTracker、TaskTracker的概念:A:JobTracker:一个管理者,接受来自TaskTracker的心跳,负责资源管理和job的调度...原创 2018-07-30 23:09:32 · 2229 阅读 · 0 评论 -
【资源调度总纲】Yarn源码剖析(零) --- spark任务提交到yarn的流程
前言本系列的目的在于试图剖析spark任务提交至hadoop yarn上的整个过程,从yarn的启动,以及spark-submit提交任务到yarn上,和在yarn中启动任务包括yarn组件之间的通信,用以提升自身知识储备,记录学习的过程为目的,由于个人能力有限文章中或许有理解不到位的地方,敬请谅解。本系列侧重的部分是yarn相关的部分,所以在spark-submit代码剖析阶段会缺少与spa...原创 2018-07-31 20:56:20 · 2058 阅读 · 0 评论 -
Yarn源码剖析(一) --- RM与NM服务启动以及心跳通信
前言在Yarn源码剖析(零) --- spark任务提交到yarn的流程中介绍了Yarn任务提交的流程,按照此篇的阅读指导,该篇文章将会介绍Yarn中ResourceManager、NodeManager的启动,以及两者之间的心跳通信。Yarn的启动1. 对于任务的yarn服务的启动当然要从它的启动脚本start-yarn.sh中进行分析,可以看到分别执行了yarn-daemon.sh...原创 2018-08-05 18:30:26 · 2771 阅读 · 0 评论 -
Yarn源码剖析(二) --- spark-submit
spark-submit前言上文Yarn源码剖析(一) --- RM与NM服务启动以及心跳通信介绍了yarn是如何启动的,本文将介绍在yarn正常启动后,任务是如何通过spark-submit提交到yarn上的。spark-submit脚本1. 先来观察一下任务提交时的spark-submit脚本中各个参数的含义(并没列举所有,只列举了关键的几个参数)/spark/bin/s...原创 2018-08-10 21:15:35 · 2032 阅读 · 3 评论 -
Yarn源码剖析(三)--- ApplicationMaster的启动
前言在上文Yarn源码剖析(二) --- spark-submit,我们介绍了spark任务通过spark-submit提交任务至yarn申请资源至启动的全流程,本篇将介绍启动过程中ApplicationMaster(后文简称AM)是如何启动。AM的启动与Container的申请1. 在Yarn源码剖析(二)中yarnClient最终调用submitApplication方法提交任务,...原创 2018-08-28 20:34:17 · 7140 阅读 · 1 评论 -
Yarn源码剖析(四)-- AM的注册与资源调度申请Container及启动
AM注册到RM1. 从Yarn源码剖析(三)-- ApplicationMaster的启动可知提交应用程序至yarn时最后启动了ApplicationMaster类,所以我们直接来看这个类(是spark自己封装的AM)的main方法,可以看到spark是通过调用AMRMClient客户端来调用相关API来实现AM注册的,以及资源的调度。amClient = AMRMClient.crea...原创 2018-09-05 22:21:32 · 2337 阅读 · 0 评论 -
Yarn -- HA源码剖析
HA简介HA(High Available),高可用性集群,是保证单点故障问题(指单点故障会引起系统整体故障的问题)的有效解决方案,一般有两个或两个以上的节点,且分为活动节点(active)及备用(standby)节点。当活动节点出现问题,导致正在运行的业务(任务)不能正常运行时,备用节点此时就会侦测到,并立即接续活动节点来执行业务,保证集群的稳定性。Yarn HA -- 集群的初始化...原创 2018-10-07 15:56:19 · 648 阅读 · 1 评论 -
Hadoop -- RPC通信
Hadoop -- RPC通信前言本篇文章浅显的介绍了Hadoop RPC的基础以及三个大类RPC、Server、Client一些较为重要的方法的源码剖析,目的在于理解Hadoop RPC核心的原理以提升自身知识储备。本篇博文参考了大量董西成老师的《Hadoop技术内幕-深入解析YARN架构设计与实现原理》,感谢老师的书籍在我学习Hadoop Yarn过程中给予的莫大帮助。基础库1...原创 2018-10-21 21:02:39 · 782 阅读 · 0 评论