调度任务是什么?如何设置调度任务?

本文将解释什么是调度任务,并且以FineDataLink为例说明如何设置调度任务。

一. 什么是调度任务?

调度平台是管理和自动化 ETL 的任务执行工具,通过指定任务依赖关系和执行顺序实现任务的自动执行,一般需要代码开发,使用数仓需要有调度软件,来确保 ETL过程顺利执行。

FineDataLink 提供功能来管理和自动化任务,确保任务按照既定的计划和策略执行,提高工作效率、减少人工干预的需求、协调任务间的依赖关系。

二. 调度模式:

1.周期性调度

定时调度,数据仓库周期性数据变化,每天交易数据的抽取加载,易于管理和维护

2.事件驱动调度

执行过程中需要基于外部事件或者触发器,比如数据库表中的变更数据,通过外部业务系统推送实时变更数据,实时响应的实时数据处理

3.基于条件的调度

当任务执行过程中某些数据符合特定条件,才会执行后续的任务

4.手动任务调度

手动运行,用户直接触发任务,通常在用户开发过程中,紧急数据的处理

5.混合调度

以上策略基于实际的业务需要进行组合,满足数据处理需求

三. 如何设置调度任务?

1.单个定时任务调度:

2.批量定时任务调度:

3.工作日和节假日调度如何设置

引用调度日历:

4. 多任务依赖调度

对于数据仓库,除 ods 层外,为了避免任务被重复调起,定时任务只配置 事件调度,即设置任务 A、任务 B 执行成功后再执行任务 C 。

例如 DW 层的总调度任务,就可以设置事件调度,依赖 ODS 层的调度总任务,当 ODS 调度总任务执行后才会执行此任务,如下图所示:

帆软FineDataLink——中国领先的低代码/高时效数据治理工具,能过为企业提供一站式的数据服务,通过快速连接、高时效融合多种数据,提供低代码Data API敏捷发布平台,帮助企业解决数据孤岛难题,有效提升企业数据价值。

了解更多数据仓库与数据集成关干货内容请关注>>>FineDataLink官网

免费试用、获取更多信息,点击了解更多>>>体验FDL功能

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值