Spark源码精读
文章平均质量分 59
MichaelZhu
这个作者很懒,什么都没留下…
展开
-
Spark源码精读之《容器分配策略》
Spark请求Yarn的容器,不论是Client模式还是Cluster模式,都是走的相同流程。为了简便,拿Client提交流程标识下。下图1,是Spark程序基于Client模式的提交总流程,容器分配就是在第4阶段, 获取Container后进行的。对Spark提交流程有兴趣的朋友可以浏览另一篇博文。原创 2023-03-20 14:51:55 · 228 阅读 · 0 评论 -
Spark源码精读之SparkSubmit(client)
按照图1流程,整个提交过程可以分为9个步骤。1、yarnClient提交AM的启动命令给RM。2、RM找到空闲NM,启动用户自定义Spark进程。3、初始化SparkContext时,注册AM。4、创建YarnAlocator对象,并向RM获取Container资源。5、YarnAlocator对象中laucherPool对象启动线程,并通过nmClient启动新的容器,并创建ExectuorBackend。6、ExecutorBackend向DriverEndpoint注册。原创 2023-03-19 12:04:02 · 493 阅读 · 0 评论 -
Spark源码精读 之 ApplicationMaster
Spark版本:V2.3.2。原创 2023-03-14 19:37:22 · 434 阅读 · 0 评论 -
Spark3源码精读 之 Dispatcher
在Apache Spark中,Dispatcher是Spark Master进程的一个组件,用于接收和处理来自客户端应用程序的请求,例如提交应用程序、杀死应用程序等。Dispatcher作为Spark Master进程的一部分,是处理客户端请求的主要入口点。当客户端应用程序需要与Spark Master交互时,它们会将请求发送到Dispatcher,Dispatcher负责将请求路由到相应的Spark Master组件进行处理。原创 2023-03-11 14:26:16 · 537 阅读 · 0 评论