Anna4的博客

原创 《DS调度实时任务优化》详细设计

《DS调度实时任务优化》详细设计 需求背景： 由于ds的主从结构，且在了解ds的相关运行原理后，发现ds会占用大量的线程 尤其是实时任务会一直占用线程轮询yarn上flink任务的执行状态，而我们的最终方案是直接通过yarn获取任务的执行状态，换言之，不需要ds上保存flink任务的执行状态。所以这里的改造方案：当flink任务提交成功后，直接将ds上该任务的状态置为成功，则ds不会持续轮询。 一、DS调度实时任务现状 1、ds调度任务的总体流程： 2、ds调度实时任务的代码分析： 2.1 master轮