Spark2.2源码分析
Destiny_Greet
这个作者很懒,什么都没留下…
展开
-
Spark2.2源码之Task任务提交源码分析
Spark2.2源码之Task任务提交源码分析 **注意:相关实体结构:Pool和TaskSetManager都继承自Schedulable,TaskSet保存在TaskSetManger中,而TaskSetManager却保存在Pool中。相当于TaskSetManager管理TaskSet,比如监控与重试,而Pool保存的是一个队列的TaskSetManager(相当于一批TaskSe原创 2017-12-04 17:39:30 · 381 阅读 · 0 评论 -
Spark2.2源码之Master主备切换机制
Spark2.2源码之Master主备切换机制 **注意:Spark在standalone运行模式下,可以配置spark master的HA,当active master节点宕机,就能把standby master切换成active。 主备切换的机制有2种: (1)基于文件系统的切换——在active master挂掉后,手动切换到standby master节点上。 (原创 2017-11-22 16:54:44 · 326 阅读 · 0 评论 -
Spark2.2源码之资源调度机制
Spark2.2源码之资源调度机制 注意:需要被分配资源的对象是:Driver,资源指的是Executor,Executor包含了cpu以及内存 。 大概流程: Standalone和yarn client都是不需要注册的,会再本地启动Driver,所以这里讲的是yarn cluster模式。调度之前,肯定是要拿到所有需要被调度的对象,所以应该看一下Driver的提交机制原创 2017-08-28 17:43:23 · 575 阅读 · 0 评论 -
Spark2.2源码之Worker注册机制
Spark2.2源码之Worker注册机制 注意:三大组件(worker,application,driver)注册到master,其中就属worker稍微麻烦一点 。 大概流程: 这里分析的注册机制主要是讲当Master Receive到Regist Request之后所做的操作 1、Worker Regist classPath:org.apache.spark.dep原创 2017-08-24 18:11:16 · 384 阅读 · 0 评论 -
Spark2.2源码之Application注册机制
Spark2.2源码之Application注册机制 注意: 1.6版本的spark很明显重构了大量了代码、注册和调度机制优化了不少。这里主要讲的是Spark自身的Standalone模式。 大概流程: 这里分析的注册机制主要是讲当Master Receive到Regist Request之后所做的操作 1、Application Regist classPath:org.原创 2017-08-18 12:37:52 · 315 阅读 · 0 评论