《DS调度实时任务优化》详细设计

《DS调度实时任务优化》详细设计

需求背景:
由于ds的主从结构,且在了解ds的相关运行原理后,发现ds会占用大量的线程
尤其是实时任务会一直占用线程轮询yarn上flink任务的执行状态,而我们的最终方案是直接通过yarn获取任务的执行状态,换言之,不需要ds上保存flink任务的执行状态。所以这里的改造方案:当flink任务提交成功后,直接将ds上该任务的状态置为成功,则ds不会持续轮询。

一、DS调度实时任务现状

1、ds调度任务的总体流程:

在这里插入图片描述

2、ds调度实时任务的代码分析:

2.1 master轮询更新状态:

在这里插入图片描述

2.2 worker中任务的状态更新:

在这里插入图片描述

二、DS调度实时任务的改造方案:

1、目前调用链:

在这里插入图片描述

2、改造后调用链:

在这里插入图片描述

©️2020 CSDN 皮肤主题: 大白 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值