![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
YARN
张包峰
Distributed Computing
展开
-
分析资源管理系统的演变: 从Mesos,YARN再到Google Omega
我觉得资源管理器所要处理的问题无外乎几块:资源分配的策略,资源分配的粒度,资源分配的方式,不同类型任务的调度等。看了Google新一代资源管理器Omega的论文之后,对比Mesos和YARN总结了下面一些内容。其实Google的Omega的实现是很类似于双层调度器的,只是省略了第一层,或者说是进化掉了这第一层,把它变成了一个全局可访问和修改的状态维护起来,增大了并发性。实际意义上的调度器们就类似于双层调度器里的第二层,可以实现自己的调度策略,可以遵循自己的分配方式去执行Task。个人认为增量的分配模式的确原创 2014-03-15 17:40:22 · 10798 阅读 · 0 评论 -
Spark on Yarn: Cluster模式Scheduler实现
背景主体逻辑具体实现AMYarnAllocatorExecutor背景Spark on Yarn分yarn-cluster和yarn-client两种模式。 本文通过Cluster模式的TaskScheduler实现入手,梳理一遍spark on yarn的大致实现逻辑。 前提我对两种模式以及yarn任务的整体运行逻辑不是很清楚。主体逻辑cluster模式中,使用的TaskSche原创 2015-02-15 17:52:43 · 4026 阅读 · 0 评论