DataShops工作流依赖
工作流调度中,任务之间的依赖十分重要,决定着整个工作流的准确性,因为任务的调度周期各不相同,依赖的添加显得稍微复杂。在DataShops中,把任务的调度周期分为分钟、小时、天、周、月
共五种,他们直接可以相互添加任意偏移量的依赖。
偏移量
DataShops中依赖的具体计算使用对应的偏移量来表示,其支持两种定义方式,分别是集合和区间
- 集合代表使用集合中所有的变量作为偏移
- 区间代表从左区间到右区间所有的整数偏移量
规定他们都是闭区间,其中区间不允许左边大于右边,且都为整数
举例
- 定义为集合,偏移量为
[-7,-3,-1]
,则对应的偏移量就分别为-7、-3、-1
- 定义为区间,偏移量为
[-7,-1]
,对应偏移量为-7、-6、-5、-4、-3、-2、-1
,共七个偏移量
上游任务依赖
类型 | 案例 | 偏移类型 | 偏移 | 说明 |
---|---|---|---|---|
天依赖天 | 2021-03-26 天任务依赖2021-03-26 和2021-03-19 天任务 | 集合 | 0,-7 | 依赖同一天和七天前上游业务时间的任务 |
天依赖天 | 2021-03-26 天任务依赖2021-03-25、2021-03-24、2021-03-23 天任务 | 区间 | -3,-1 | 依赖3天前,2天前,1天的上游任务 |
天依赖小时 | 2021-03-26 天任务依赖小时业务时间为2点、14点、20点任务 | 集合 | -22,-10,-4 | 上游任务实例的业务时间=当前任务业务时间+偏移量+24小时 |
天依赖周 | 天任务依赖最近7天周任务所有实例 | 集合 | 0 | 依赖上游最近七天内的任务实例 |
天依赖周 | 天任务依赖14天前~7天前周任务所有实例 | 集合 | -1 | 依赖上游14天前~7天内的任务实例 |
天依赖月 | 天任务依赖月任务最近一个月任务所有实例 | 集合 | 0 | 依赖上游最近一个月内的任务实例 |
小时依赖天 | 2021-03-26 10:00:00 依赖2021-03-25 天任务 | 集合 | -1 | 小时任务依赖天任务 |
天依赖月 | 2021-03-26 依赖2021-02-01 ~ 2021-02-28 所有上游月任务实例 | 集合 | -1 | 天任务依赖上个月上游所有实例任务 |
说明
- 偏移量为
0
,默认为依赖上游最近时间的实例任务- 上游为周,如果偏移量为
0
,代表依赖本周内上游任务的所有实例- 上游为周,如果偏移量为
-1
,代表依赖上个自然周内上游任务的所有实例- 上游为月,如果偏移量为
0
,代表依赖上个自然月内上游任务的所有实例
联系
- 主页:https://www.datashops.cn
- 邮箱:shiwei138#163.com
- 公众号:入坑,enterpit