大数据工具——DolphinScheduler

最新推荐文章于 2024-09-16 08:45:00 发布

亚当-麦当当

最新推荐文章于 2024-09-16 08:45:00 发布

阅读量1.6k

点赞数 32

分类专栏： DolphinScheduler 文章标签：大数据数据库开发数据仓库数据库

本文链接：https://blog.csdn.net/weixin_49811843/article/details/138473752

版权

1 篇文章 0 订阅

订阅专栏

一、什么是DolphinScheduler

DolphinScheduler是一个开源的分布式任务调度平台，专为大数据场景下的工作流调度和数据治理而设计。它的设计目标是提供一个可靠、高效、易用的任务调度系统，帮助用户实现任务的自动化调度和监控，从而提高工作效率和数据处理能力。

分布式架构： DolphinScheduler采用分布式架构设计，可以在集群环境下运行和管理，实现任务的并行执行和高可用性。
任务调度管理： 用户可以通过DolphinScheduler管理和调度各种类型的任务，包括定时任务、依赖任务、数据处理任务等，实现任务的自动化调度和执行。
工作流编排： DolphinScheduler支持复杂的工作流程编排，用户可以通过可视化界面定义和管理工作流，包括任务依赖关系、任务执行顺序等，实现任务之间的数据流转和依赖控制。
任务监控和告警： DolphinScheduler提供实时的任务监控和告警功能，用户可以及时发现和处理任务执行异常或失败的情况，保障任务的稳定运行。
多租户支持： DolphinScheduler支持多租户管理，可以对不同用户或组织进行资源隔离和权限控制，确保各租户之间的任务调度和执行互不干扰。
可视化界面： DolphinScheduler提供直观友好的可视化界面，用户可以通过界面操作进行任务的创建、调度、监控和管理，降低使用门槛，提高用户体验。
灵活的插件机制： DolphinScheduler具备灵活的插件扩展机制，用户可以根据需求自定义开发和集成各种类型的任务和插件，满足不同场景下的任务调度需求。

DolphinScheduler包括多个功能模块，这些模块共同构成了其完整的任务调度和管理体系。以下是DolphinScheduler主要的功能模块：

任务管理模块： 这个模块负责任务的创建、编辑、删除以及查看任务状态等功能。用户可以在这里定义任务的类型（如Shell任务、Spark任务、Hive任务等）、调度策略、依赖关系等。
工作流管理模块： 这个模块用于工作流的创建、编辑和管理。用户可以通过工作流管理模块将多个任务组织成一个工作流，定义任务之间的依赖关系和执行顺序。
调度管理模块： 这个模块负责任务的调度和执行。用户可以在这里设置任务的调度策略、手动触发任务执行、监控任务执行状态等。
监控告警模块： 这个模块用于监控任务的执行状态和告警处理。用户可以在这里查看任务执行日志、监控任务执行情况，并及时处理任务执行异常或失败的告警。
权限管理模块： 这个模块用于用户权限的管理和控制。DolphinScheduler支持多租户管理，用户可以在这里设置用户和角色的权限，实现资源隔离和权限控制。
可视化界面模块： DolphinScheduler提供直观友好的可视化界面，用户可以通过界面操作进行任务和工作流的管理、调度和监控，提高用户体验和操作效率。
扩展插件模块： DolphinScheduler具有灵活的插件扩展机制，用户可以根据需求自定义开发和集成各种类型的任务和插件，扩展平台的功能和适用场景。