腾讯云WeData：解锁灵活高效的调度配置能力，轻松应对复杂业务场景

点击蓝字⬆ 关注我们

本文共计1918字 预计阅读时长6分钟

引言

大数据开发平台中的调度系统是用于自动化管理和执行数据处理任务的关键组件，它通过定时调度、依赖管理和任务监控等能力，确保数据流的顺畅，是数据开发平台的核心底座。WeData的调度系统为数据开发工程师、算法工程师等用户提供了丰富的定时调度、依赖配置及任务运维监控等能力，覆盖了多种调度业务场景，提高了用户的开发运维效率。本文将介绍WeData调度系统中调度配置的亮点功能及最佳实践。

一

调度配置能力总览

任务调度配置能力包含调度配置、任务依赖配置、事件依赖配置、调度参数配置、重试&超时策略，以下是任务调度配置能力总览图。下文将介绍调度配置能力中的亮点功能。

二

亮点功能

1.丰富的调度配置能力

• 多种周期：从调度周期上看，WeData调度系统提供了多种调度周期配置方式。支持在工作流粒度采用crontab方式配置调度时间。支持在任务粒度配置分钟、小时、天、周、月、年调度。

• 调度日历：调度日历即在用户期望的起调时间无时间周期规则的情况下可使用的功能，用户可自行定义某一天为调度日或非调度日，调度系统将跟进用户配置进行起调或不起调，该能力常用于金融业务。例如：金融业务期望交易日起调，非交易日不起调，可以通过配置调度日历实现该场景。

• 空跑调度：针对某些特定场景，用户不希望当前任务起调。例如：任务已经配置好，但数据还在验证中不希望起调，那么可以选择空跑调度。空跑调度是指调度到该任务时，系统会直接将实例置成功，不会真正执行任务，同时空跑调度的实例也会进行上游检测。

2.灵活的依赖关系配置能力

• 跨周期依赖：跨周期依赖是指下游数据依赖上游数据前一个分区的场景，例如小时任务依赖分钟任务，下游当前小时的实例依赖上游前一个小时的实例。这种场景可通过跨周期依赖来实现（仅部分依赖关系支持，未支持的可通过自定义依赖配置实现），配置方式见下图。

• 自定义依赖配置：在用户需要灵活配置依赖关系时，比如今天的实例期望依赖上游当天往前三天的所有实例时，可通过自定义依赖配置的功能实现。配置方式见下图：配置方式选择自定义，时间维度选择区间，实例范围选择-3,-1，表示从当前实例数据时间往前的一个周期到往前的三个周期。支持区间模式和列表模式两种：

  区间模式：输入格式为：x,y 。表示依赖上游任务实例数据时间偏移的范围。比如区间(天)的情况下，输入了-10,-1 ，表示依赖上游任务前10天到前1天的闭区间实例。

  列表模式：输入格式为：x,y,z 。表示依赖上游任务实例数据时间的具体偏移值。比如列表(天)的情况下，输入了-3,-2,-1 ，表示依赖上游任务前3、2、1天的实例。

依赖配置完后可通过依赖预览查看配置是否符合预期。

• 任务自依赖和工作流自依赖：除上下游任务间的依赖外，我们还提供了同任务间的实例依赖和同工作流间的实例依赖能力。任务自依赖是指同一任务当前实例依赖前一个周期实例的状态。工作流自依赖是指当前任务依赖本工作流上个周期的所有任务。常用于不同周期数据有关联关系，期望按序产出的场景。

• 循环依赖：在某些业务场景下，上游任务需要依赖下游任务上个周期的实例，才能实现业务逻辑。这种场景就可以使用循环依赖的功能。例如A任务为上游任务，B任务为下游任务，正常依赖关系是B任务12.14的实例依赖A任务12.14的实例，同时A任务12.14的实例依赖B的12.13的实例，这种场景即可使用循环依赖功能来实现。

3.完善的失败&超时处理机制

• 失败重试：支持配置失败重试次数和失败重试的时间间隔，即在实例执行失败时，系统自动进行重试。在大数据处理任务中，因网络波动、资源竞争等原因，作业可能会失败。通过设置失败重试机制，可以自动重试这些作业，确保数据处理的完整性和准确性。

• 超时策略：支持配置超时策略，即实例执行时间或等待时间超过一定时间后，系统将自动终止实例。通过设置超时机制，可以自动终止那些运行时间超过预定限制的作业，从而释放资源，确保其他作业能够顺利执行。

三

最佳实践

1.自定义依赖配置案例

假设业务场景中上游任务A为天任务，产出表为每天日志数据增量表。下游任务B为天任务，产出表为近30天日志数据增量表。那么B任务将依赖A任务近30天的实例，具体依赖逻辑见下图：

依赖关系配置方式见下图：

2.循环依赖配置案例

假设业务场景中上游任务A为天任务，产出ads表为两个字段：城市ID、订单数量。下游任务B为天任务，产出tmp表城市ID、是否为无订单城市。同时需要实现的业务逻辑是若前一天某城市为无订单城市，则需要在当天的ads表中将该城市去除，那么说明今天的A任务实例也需要依赖前一天的B任务实例。具体依赖逻辑见下图

依赖关系配置方式见下图：

四

总结与展望

过去一年，WeData在调度配置能力方面取得了显著的提升。我们不仅新增了自定义依赖配置、循环依赖、跨周期依赖、依赖预览以及调度日历等多项新功能，而且这些功能广泛适用于更多真实业务场景，帮助用户实现其调度逻辑。后续也会不断优化和新增更多能力，以确保我们的服务能够全面覆盖并满足日益增长的调度配置需求。

腾讯云大数据始终致力于为各行业客户提供轻快、易用，智能的大数据平台。

END

关注腾讯云大数据╳探索数据的无限可能

⏬点击阅读原文

了解更多产品详情

分享给认识的人吧