《DS调度实时任务优化》详细设计

《DS调度实时任务优化》详细设计

需求背景：
由于ds的主从结构，且在了解ds的相关运行原理后，发现ds会占用大量的线程
尤其是实时任务会一直占用线程轮询yarn上flink任务的执行状态，而我们的最终方案是直接通过yarn获取任务的执行状态，换言之，不需要ds上保存flink任务的执行状态。所以这里的改造方案：当flink任务提交成功后，直接将ds上该任务的状态置为成功，则ds不会持续轮询。

一、DS调度实时任务现状

1、ds调度任务的总体流程：

2、ds调度实时任务的代码分析：

2.1 master轮询更新状态：

2.2 worker中任务的状态更新：

二、DS调度实时任务的改造方案：

1、目前调用链：

2、改造后调用链：