Fuzer：华坤道威自研百万级任务调度系统

华坤道威

于 2022-10-27 16:45:28 发布

阅读量797

点赞数

文章标签：大数据

本文链接：https://blog.csdn.net/WorkingDwellonDT/article/details/127555820

版权

华坤道威发布自研任务调度系统Fuzer，基于DolphinScheduler研发，解决大数据场景调度问题。Fuzer提供高性能、高稳定性和多样化任务调度，支持百万级任务，具备最小化中间件、多任务类型、丰富操作及高可用等特性，未来将向更通用、高性能和丰富功能发展，并计划回馈开源社区。

摘要由CSDN通过智能技术生成

日前，华坤道威发布了自主研发的任务调度系统Fuzer。作为一个去中心化分布式易扩展的任务调度平台，Fuzer适用于常见任务调度场景，支持多种任务类型，丰富的任务操作等全任务特性调度平台，解决复杂了的大数据场景任务调度，为数据中台调度赋能。

发展背景

大数据任务调度系统是数据中台的重要组成部分，它负责数据领域所有离线任务的编排调度。我们在日常工作中，会碰到很多调度的场景，例如通过定时任务每天发送日报或者选择合适的负载机器来执行任务等。任务调度系统负责关注任务及时准确地执行，为使用者提供任务定时、工作流调度等能力。常见的任务调度系统包括DolphinScheduler，Airflow，Azkaban等。

华坤道威自研的平台调度系统Fuzer，正是基于DolphinScheduler系统而研发。华坤道威数据中台之前便是以DolphinScheduler作为任务调度引擎，但随着时间的推移，公司业务快速发展，任务规模也日益扩大，DolphinScheduler的性能、稳定性和任务多样性不再满足发展要求。因此，为了解决问题，我们自研了任务调度系统Fuzer。经历多个产品迭代与大大小小的技术难题之后，Fuzer实现了从0-