二十二、Flink源码阅读--Task执行过程

在Flink JobMaster中生成ExecutionGraph和物理执行计划后,Task是如何提交和执行的呢,本篇我们看下这部分的源码源码分析Execution.deploy ===>public void deploy() throws JobException {...final TaskDeploymentDescriptor deployment = vertex...
摘要由CSDN通过智能技术生成

在Flink JobMaster中生成ExecutionGraph和物理执行计划后,Task是如何提交和执行的呢,本篇我们看下这部分的源码

源码分析
Execution.deploy ===>
public void deploy() throws JobException {
...

final TaskDeploymentDescriptor deployment = vertex.createDeploymentDescriptor(//创建任务部署描述
				attemptId,
				slot,
				taskRestore,
				attemptNumber);

final TaskManagerGateway taskManagerGateway = slot.getTaskManagerGateway();

final CompletableFuture<Acknowledge> submitResultFuture = taskManagerGateway.submitTask(deployment, rpcTimeout);// ==> RpcTaskManagerGateway提交task
}

Execution对应的就是具体任务一次执行,在createDeploymentDescriptor方法中转换为具体的物理部署描述。将IntermediateResultPartition转化为ResultPartition,ExecutionEdge转为InputChannelDeploymentDescriptor。调用sumbitTask方法实际调用的是RpcTaskManagerGateway的方法。

@Override
public CompletableFuture<Acknowledge> submitTask(TaskDeploymentDescriptor tdd, Time timeout) {
	return taskExecutorGateway.submitTask(tdd, jobMasterId, timeout);//==> TaskExecutor.submitTask
}

===> 

@Override
public CompletableFuture<Acknowledge> submitTask(
		TaskDeploymentDescriptor tdd,
		JobMasterId jobMasterId,
		Time timeout) {

	try {
		...

		Task task = new Task(//构造Task
			jobInformation,
			taskInformation,
			tdd.getExecutionAttemptId(),
			tdd.getAllocationId(),
			tdd.getSubtaskIndex(),
			tdd.getAttemptNumber(),
			tdd.getProducedPartitions(),
			tdd.getInputGa
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值