DataShops数据工厂，工作流依赖（三）

DataShops工作流依赖

工作流调度中，任务之间的依赖十分重要，决定着整个工作流的准确性，因为任务的调度周期各不相同，依赖的添加显得稍微复杂。在DataShops中，把任务的调度周期分为分钟、小时、天、周、月共五种，他们直接可以相互添加任意偏移量的依赖。

偏移量

DataShops中依赖的具体计算使用对应的偏移量来表示，其支持两种定义方式，分别是集合和区间

• 集合代表使用集合中所有的变量作为偏移
• 区间代表从左区间到右区间所有的整数偏移量

规定他们都是闭区间，其中区间不允许左边大于右边，且都为整数

举例

• 定义为集合，偏移量为[-7,-3,-1]，则对应的偏移量就分别为-7、-3、-1
• 定义为区间，偏移量为[-7,-1]，对应偏移量为-7、-6、-5、-4、-3、-2、-1，共七个偏移量

上游任务依赖

类型	案例	偏移类型	偏移	说明
天依赖天	2021-03-26天任务依赖2021-03-26和2021-03-19天任务	集合	0，-7	依赖同一天和七天前上游业务时间的任务
天依赖天	2021-03-26天任务依赖2021-03-25、2021-03-24、2021-03-23天任务	区间	-3，-1	依赖3天前，2天前，1天的上游任务
天依赖小时	2021-03-26天任务依赖小时业务时间为2点、14点、20点任务	集合	-22，-10，-4	上游任务实例的业务时间=当前任务业务时间+偏移量+24小时
天依赖周	天任务依赖最近7天周任务所有实例	集合	0	依赖上游最近七天内的任务实例
天依赖周	天任务依赖14天前~7天前周任务所有实例	集合	-1	依赖上游14天前~7天内的任务实例
天依赖月	天任务依赖月任务最近一个月任务所有实例	集合	0	依赖上游最近一个月内的任务实例
小时依赖天	2021-03-26 10:00:00依赖2021-03-25天任务	集合	-1	小时任务依赖天任务
天依赖月	2021-03-26依赖2021-02-01 ~ 2021-02-28所有上游月任务实例	集合	-1	天任务依赖上个月上游所有实例任务

说明

• 偏移量为0，默认为依赖上游最近时间的实例任务
• 上游为周，如果偏移量为0，代表依赖本周内上游任务的所有实例
• 上游为周，如果偏移量为-1，代表依赖上个自然周内上游任务的所有实例
• 上游为月，如果偏移量为0，代表依赖上个自然月内上游任务的所有实例

联系

• 主页：https://www.datashops.cn
• 邮箱：shiwei138#163.com
• 公众号：入坑，enterpit