ETL DAG调度策略

ETL DAG调度策略

1. 目前etl的fetch task策略是基于任务子孙任务数和任务优先级获得task list
2. 然后遍历task list 查看任务是否具备执行条件

• 集群资源校验（yarn/hdfs）
• 数据是否准备好（仅mysql task具备），解决主从延迟问题
• 任务开始时间
• 任务的父任务是否都执行成功

---

1. 每10s fetch一次task，遍历一次基于<2>的逻辑

• 我们把任务的父任务执行状态判断放到最后是想降低数据库查询成本（如果没放到最后，可以在exec_log表中维护一个依赖是否校验的状态去动态变更来减少数据库轮训查找成本）
• 我们如何避免，如 a->b->c 依赖关系，a还没完成又去校验b，b又没通过，又去校验c这种情况呢（如果此树较大，我们又是基于子孙任务数排序的话，会出现这种无谓遍历数据库的情况）。如果我们没有维护全局树及树中各任务的状态的话（成本较高，要时刻保证内存中的树与mysql表的任务状态同步）。
• 我们可以这么做(较少数据库的无谓遍历)，在任务初始化时把任务依赖的dag加载的map中，并只维护任务与其一级子任务的关系如（<1,[2,3,4]> 父任务id:1,子任务id:2,3,4），然后在任务a校验没通过时，把a的一级子任务加入到set中，依次遍历按照如此逻辑，在这一轮遍历结束后清空set。（或者维护全局set，在此任务校验通过后，从set清除此任务的一级子任务）

posted on 2019-06-02 16:03 姜小嫌 阅读( ...) 评论( ...) 编辑 收藏

转载于:https://www.cnblogs.com/jiangxiaoxian/p/10963202.html