![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Yarn
文章平均质量分 81
L.ZZ
这个作者很懒,什么都没留下…
展开
-
Yarn运行原理
1. Yarn架构从 YARN 的架构图来看,它主要由ResourceManager、NodeManager、ApplicationMaster和Container等以下几个组件构成。1.1 ResourceManager(RM)YARN 分层结构的本质是 ResourceManager。这个实体控制整个集群并管理应用程序向基础计算资源的分配。ResourceManager 将各个资源部分...原创 2019-02-27 11:33:11 · 509 阅读 · 1 评论 -
Yarn资源队列配置和使用
前言试想一下,你现在所在的公司有一个hadoop的集群。但是A项目组经常做一些定时的BI报表,B项目组则经常使用一些软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景,这个时候到底如何分配资源满足这两个任务呢?是先执行A的任务,再执行B的任务,还是同时跑两个?如果你存在上述的困惑,可以多了解一些yarn的资源调度器。在Yarn框架中,调度器是一块很重要的内容。有了合适的调度规则,就可以...转载 2019-02-27 11:37:09 · 13264 阅读 · 1 评论 -
Spark on Yarn架构原理
一. 前言SPARK相关概念Driver:和ClusterManager通信,进行资源申请、任务分配并监督其运行状况等。ClusterManager:这里指YARN。DAGScheduler:把spark作业转换成Stage的DAG图。TaskScheduler:把Task分配给具体的Executor。YARN相关概念ResourceManager:负责整个集...原创 2019-02-27 11:39:00 · 4025 阅读 · 1 评论