spark中CoarseGrainedExecutorBackend 创建

spark的worker收到任务时,在执行fetchAndRunExecutor方式中,执行了ExecutorRunner方法,代码如下:

new ExecutorRunner(

 

            appId,
            execId,
            appDesc.copy(command = Worker.maybeUpdateSSLSettings(appDesc.command, conf)),
            cores_,
            memory_,
            self,
            workerId,
            host,
            webUi.boundPort,
            publicAddress,
            sparkHome,
            executorDir,
            workerUri,
            conf,

 

            appLocalDirs, ExecutorState.RUNNING)

CoarseGrainedExecutorBackend 就是在appDesc.copy(command = Worker.maybeUpdateSSLSettings(appDesc.command, conf))这行的appDesc中包含,

在sparkcontext初始化的时候,如果是Standalone模式,在初始化 val backend = new StandaloneSchedulerBackend(scheduler, sc, masterUrls)对象,StandaloneSchedulerBackend对象中command包含了创建CoarseGrainedExecutorBackend的命令。

 val command = Command("org.apache.spark.executor.CoarseGrainedExecutorBackend",

      args, sc.executorEnvs, classPathEntries ++ testingClassPath, libraryPathEntries, javaOpts)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值