DolphinScheduler 入门操作

本文详细介绍了Apache DolphinScheduler的安全中心配置,包括租户管理、用户管理、告警组管理、Worker分组管理、队列管理和令牌管理。同时,阐述了项目管理中的用户切换、项目创建及工作流的基础配置,包括工作流定义、实例查看和任务实例监控。此外,还提及了如何定义工作流、设置任务依赖以及工作流的提交和定时执行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、安全中心配置

安全中心主要有租户管理、用户管理、告警组管理、Worker分组管理、队列管理、令牌管理等功能。安全中心只有管理员账户才有操作权限

在这里插入图片描述

1.1 队列管理

此处的队列对应的是Yarn调度器的资源队列。故队列概念只对跑在Yarn上的任务类型有效。此处创建出的队列,可供后续任务进行选择。需要注意的是,在DolphinScheduler中创建队列,并不会影响到Yarn调度器的队列配置
此处可不创建队列。
在这里插入图片描述

1.2 租户管理

租户对应的是Linux系统用户,是Worker执行任务使用的用户。如果Worker所在节点没有这个用户,Worker会在执行任务时创建这个用户。
此处创建一个atguigu租户,如下图。
在这里插入图片描述

注:

  • 租户编码:对应Worker执行任务所使用的用户名。
  • 租户名称:用于在DolphinScheduler中显示。
  • 队列:该租户提交Yarn任务时的默认队列。

1.3 用户管理

用户对应的是DolphinScheduler的用户,用于登录DolphinScheduler。用户分管理员用户和普通用户。默认情况下,管理员只有授权和用户管理等权限,而普通用户只有创建项目,定义工作流、执行工作流等权限。
此处创建一个普通用户atguigu,如下图。

在这里插入图片描述

注:

  • 用户名:DolphinScheduler登录账户
  • 租户:该用户关联的租户
  • 队列:默认为租户所关联的队列。
  • 邮件、手机号:主要用于告警通知。

1.4 告警组管理

告警组可包含多名用户,用于指定告警发送对象。
1)创建告警组
在这里插入图片描述
2)增加用户
在这里插入图片描述

1.5 Worker分组管理

在任务执行时,可以将任务分配给指定Worker组,最终由该组中的Worker节点执行该任务。默认情况下,所有Worker均位于default组。
此处可不做配置。
在这里插入图片描述

1.6 令牌管理

令牌用于通过接口访问DolphinScheduler各项服务时的用户验证。普通用户通过UI页面访问各项服务时,无需使用令牌。若需将DolphinScheduler与第三方服务进行集成,则需调用其接口,此时需使用令牌。

二、项目管理

2.1 切换用户

默认不使用管理员用户操作项目和工作流等,故需先切换到普通用户atguigu。
1)admin用户退出

在这里插入图片描述
2)使用atguigu用户登录
在这里插入图片描述

2.2 创建项目

在这里插入图片描述

2.3 查看项目

在这里插入图片描述

三、工作流基础配置

下图为工作流配置页面,共包含三个模快,分别为工作流定义、工作流实例和任务实例。

  • 工作流定义:用于定义工作流,包括工作流各节点任务详情及各节点依赖关系等。
  • 工作流实例:工作流每执行一次就会生成一个工作流示例。此处可查看正在运行的工作流以及已经完成的工作流。
  • 任务实例:工作流中的一个节点任务,每执行一次就会生成一个任务实例。此处可用于查看正在执行的节点任务以及已经完成的节点任务。

在这里插入图片描述

3.1 工作流定义

工作流要求:工作流需包含三个Shell类型的任务节点,分别是A,B,C。三个任务的依赖关系如下图所示:
在这里插入图片描述
1)创建工作流
在这里插入图片描述
2)配置任务节点
(1)节点A
在这里插入图片描述
(2)节点B
在这里插入图片描述
(3)节点C
在这里插入图片描述
3)配置任务节点的依赖关系
在这里插入图片描述
4)保存工作流定义
在这里插入图片描述

3.2 提交执行工作流

1)上线工作流
工作流须上线之后才能执行。处于上线状态的工作流定义不可修改,如需修改,须先下线。

在这里插入图片描述
2)单次运行工作流

在这里插入图片描述
3)定时执行工作流
(1)点击定时
在这里插入图片描述
(2)配置定时规则

此处示例为每分钟执行一次

在这里插入图片描述
(3)定时管理
在这里插入图片描述
(4)定时上线
在这里插入图片描述

3.2 查看工作流实例

1)查看所有工作流实例

在这里插入图片描述
2)查看工作流执行状态

在这里插入图片描述

3.3 查看任务实例

1)查看所有任务实例
在这里插入图片描述

2)查看任务实例日志

在这里插入图片描述

在这里插入图片描述

三、进阶

引用依赖资源等 建议参考:https://blog.csdn.net/yunweijie_cn/article/details/123300979

### DolphinScheduler 3.2.1 版本特性 DolphinScheduler 3.2.1 提供了一系列增强特性和改进,旨在提升用户体验和系统稳定性。此版本引入了多项新功能以及性能优化措施[^4]。 #### 主要更新点包括: - **工作流调度引擎优化**:提高了任务执行效率,减少了资源消耗。 - **UI界面改版**:增强了可视化操作体验,使用户能够更直观地管理和监控作业流程。 - **安全性加强**:增加了更多安全机制来保护敏感数据的安全传输与存储。 - **社区贡献集成**:采纳了许多来自开源社区的建议和补丁,进一步完善产品生态体系。 --- ### 安装配置指南 对于希望部署 DolphinScheduler 3.2.1 的用户而言,官方提供了详细的安装指导文档,涵盖了从环境准备到最终上线所需的全部步骤。 #### 关键环节如下: - **前置条件确认**:确保目标服务器满足最低硬件要求,并完成必要的软件依赖项安装。 - **下载源码包或二进制文件**:可以从官方网站获取最新稳定发布的压缩包。 - **初始化数据库结构**:按照指引创建相应的表空间及权限设置。 - **修改配置参数**:调整 `application.properties` 文件中的各项属性以适应实际应用场景需求。 - **启动服务进程**:依次运行 Master、Worker 和 API Server 组件直至整个平台正常运作为止。 ```bash # 启动Master节点 bin/start-all.sh master # 启动Worker节点 bin/start-all.sh worker # 启动API Server bin/start-all.sh api-server ``` --- ### 使用文档概览 为了帮助开发者更好地理解和利用 DolphinScheduler 平台的各项能力,项目团队精心编写了一套全面的帮助手册,覆盖了基础概念介绍、高级编程技巧等多个方面。 这些资料不仅适合初学者快速入门,也能为有经验的技术人员提供深入学习的机会。通过阅读相关章节,可以掌握如何设计复杂的工作流模型、实现跨系统的自动化交互等功能。 --- ### 下载地址 目前最便捷的方式是从 Apache 官方网站直接下载 DolphinScheduler 3.2.1 发布版本。具体路径可访问 [Apache DolphinScheduler](https://dolphinscheduler.apache.org/) 进行查看并选择合适的镜像站点进行下载。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值