本文将解释什么是调度任务,并且以FineDataLink为例说明如何设置调度任务。
一. 什么是调度任务?
调度平台是管理和自动化 ETL 的任务执行工具,通过指定任务依赖关系和执行顺序实现任务的自动执行,一般需要代码开发,使用数仓需要有调度软件,来确保 ETL过程顺利执行。
FineDataLink 提供功能来管理和自动化任务,确保任务按照既定的计划和策略执行,提高工作效率、减少人工干预的需求、协调任务间的依赖关系。
二. 调度模式:
1.周期性调度
定时调度,数据仓库周期性数据变化,每天交易数据的抽取加载,易于管理和维护
2.事件驱动调度
执行过程中需要基于外部事件或者触发器,比如数据库表中的变更数据,通过外部业务系统推送实时变更数据,实时响应的实时数据处理
3.基于条件的调度
当任务执行过程中某些数据符合特定条件,才会执行后续的任务
4.手动任务调度
手动运行,用户直接触发任务,通常在用户开发过程中,紧急数据的处理
5.混合调度
以上策略基于实际的业务需要进行组合,满足数据处理需求
三. 如何设置调度任务?
1.单个定时任务调度:
2.批量定时任务调度:
3.工作日和节假日调度如何设置
引用调度日历:
4. 多任务依赖调度
对于数据仓库,除 ods 层外,为了避免任务被重复调起,定时任务只配置 事件调度,即设置任务 A、任务 B 执行成功后再执行任务 C 。
例如 DW 层的总调度任务,就可以设置事件调度,依赖 ODS 层的调度总任务,当 ODS 调度总任务执行后才会执行此任务,如下图所示:
帆软FineDataLink——中国领先的低代码/高时效数据治理工具,能过为企业提供一站式的数据服务,通过快速连接、高时效融合多种数据,提供低代码Data API敏捷发布平台,帮助企业解决数据孤岛难题,有效提升企业数据价值。
了解更多数据仓库与数据集成关干货内容请关注>>>FineDataLink官网
免费试用、获取更多信息,点击了解更多>>>体验FDL功能