- 博客(9)
- 收藏
- 关注
RSS订阅
原创 Spark2.2源码分析:Spark-Submit提交任务
Spark源码阅读顺序 1. Spark2.2源码分析:Spark-Submit提交任务详解客户端通过spark-submit命令提交作业后，都先干了哪些事情。spark集群启动后会干的事情大概画图如下：概述步骤1.先执行spark-submit脚本，准备参数，选择集群管理器2.启动driver,注册application,启动executor,划分任务，分发任务3.返回（...
2019-03-01 17:11:14
745
原创 DataNode启动流程
核心类:DataNode (主进程类)BlockPoolManager (块池管理类)BPOfferService (管理一对BPServerActor)BPServerActor (连接NameNode和StandByNameNode)DataXSeverServer (对外提供独写Block服务)DataNode：名称节点的进程类，入口就是main方法org.apache....
2019-06-03 16:48:43
1981
原创 NameNode启动流程
核心类:NameNodeFSNamesystemFSImageFSEditLogNameNodeRpcServerNameNodeHttpServerBlockManagerDataNodeManagerFSDirectoryINodeDirecotryINodeFileNameNode：名称节点的进程类，入口就是main方法org.apache.hadoop.hd...
2019-06-03 16:48:38
398
原创 Spark2.2源码分析:Driver的注册与启动
Spark2.2源码阅读顺序1. Spark2.2源码分析:Spark-Submit提交任务2. Spark2.2源码分析:Driver的注册与启动详解客户端通过spark-submit命令提交作业后，都先干了哪些事情。spark集群启动后会干的事情大概画图如下：...
2019-03-01 17:11:23
382
原创 Spark2.2源码之Task任务提交源码分析
Spark2.2源码之Task任务提交源码分析 **注意：相关实体结构：Pool和TaskSetManager都继承自Schedulable，TaskSet保存在TaskSetManger中，而TaskSetManager却保存在Pool中。相当于TaskSetManager管理TaskSet,比如监控与重试,而Pool保存的是一个队列的TaskSetManager（相当于一批TaskSe
2017-12-04 17:39:30
390
原创 Spark2.2源码之Master主备切换机制
Spark2.2源码之Master主备切换机制 **注意：Spark在standalone运行模式下，可以配置spark master的HA，当active master节点宕机，就能把standby master切换成active。 主备切换的机制有2种： （1）基于文件系统的切换——在active master挂掉后，手动切换到standby master节点上。 （
2017-11-22 16:54:44
347
原创 Spark2.2源码之资源调度机制
Spark2.2源码之资源调度机制 注意：需要被分配资源的对象是:Driver,资源指的是Executor，Executor包含了cpu以及内存 。 大概流程： Standalone和yarn client都是不需要注册的，会再本地启动Driver,所以这里讲的是yarn cluster模式。调度之前，肯定是要拿到所有需要被调度的对象，所以应该看一下Driver的提交机制
2017-08-28 17:43:23
588
原创 Spark2.2源码之Worker注册机制
Spark2.2源码之Worker注册机制 注意：三大组件（worker，application，driver）注册到master，其中就属worker稍微麻烦一点 。 大概流程： 这里分析的注册机制主要是讲当Master Receive到Regist Request之后所做的操作1、Worker Regist classPath:org.apache.spark.dep
2017-08-24 18:11:16
388
原创 Spark2.2源码之Application注册机制
Spark2.2源码之Application注册机制 注意： 1.6版本的spark很明显重构了大量了代码、注册和调度机制优化了不少。这里主要讲的是Spark自身的Standalone模式。 大概流程： 这里分析的注册机制主要是讲当Master Receive到Regist Request之后所做的操作1、Application Regist classPath:org.
2017-08-18 12:37:52
328
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人