Apache DolphinScheduler是一个分布式、高可靠的DAG工作流任务调度系统，旨在解决数据处理流程中的依赖关系。它提供可视化界面，支持暂停恢复、多租户、自定义任务类型等功能，并具有高扩展性。在数据平台中，DolphinScheduler用于管理和调度复杂的数据任务，确保系统的稳定运行。
原文转载地址：
前提
数据平台（BP）建设过程中，会涉及大量的数据采集、处理、计算等方面的工作，而且随着需求的增加要承担的任务越来越多。迫切需要一个简单易用、支持可视化管理的调度系统，考虑到要将现有的定时任务从crontab快速迁移到新调度系统，且要易于部署管理，方便扩展，支持HA等要求。调研了多款调度系统如airflow、azkaban、gocron、DolphinScheduler等系统。几个调度平台之间各有亮点，最终选择了国产开源的调度系统 DolphinScheduler。
DolphinScheduler 在数据平台中的功能定位
DolphinScheduler 简介
分布式易扩展的可视化DAG工作流任务调度系统,Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
特性
高可靠性：
去中心化的多Master和多Worker, 自身支持
最低0.47元/天 解锁文章
扫一扫
4380
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
