张包峰的博客

我觉得资源管理器所要处理的问题无外乎几块：资源分配的策略，资源分配的粒度，资源分配的方式，不同类型任务的调度等。看了Google新一代资源管理器Omega的论文之后，对比Mesos和YARN总结了下面一些内容。 其实Google的Omega的实现是很类似于双层调度器的，只是省略了第一层，或者说是进化掉了这第一层，把它变成了一个全局可访问和修改的状态维护起来，增大了并发性。实际意义上的调度器们就类似于双层调度器里的第二层，可以实现自己的调度策略，可以遵循自己的分配方式去执行Task。个人认为增量的分配模式的确

背景 主体逻辑 具体实现 AM YarnAllocator Executor背景Spark on Yarn分yarn-cluster和yarn-client两种模式。 本文通过Cluster模式的TaskScheduler实现入手，梳理一遍spark on yarn的大致实现逻辑。 前提我对两种模式以及yarn任务的整体运行逻辑不是很清楚。 主体逻辑cluster模式中，使用的TaskSche