DolphinScheduler
文章平均质量分 63
Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。
Alienware^
喜欢专研Java,Scala,Python,数据库,以及大数据框架系列知识。希望通过不断的学习,记录自己的点点滴滴。
展开
-
DolphinScheduler 进阶(工作流失败重跑)
若工作流执行到一半失败了,需要重新启动工作流。重新启动时可选择从起点开始执行,也可选择从断点开始执行。原创 2022-09-28 22:03:17 · 2019 阅读 · 0 评论 -
DolphinScheduler 进阶(告警通知)
如需使用 DolphinScheduler 的电子邮件告警通知功能,需要准备一个电子邮箱账号,并启用 SMTP 服务。此处以 QQ 邮箱为例。拖动进度条在页面下方找到下图所示内容,开启 POP3/SMTP | IMAP/SMTP 任一服务即可。(1)开启 SMTP 服务。编辑好告警组之后,点击提交。第一步:点击创建告警实例。(1)切换管理员用户。第二步:编辑告警实例。(2)执行工作流测试。原创 2022-09-28 21:02:23 · 3568 阅读 · 4 评论 -
DolphinScheduler 进阶(资源中心)
有些任务需要引用一些额外的资源,例如 MR、Spark 等任务须引用 jar 包,Shell 任务需要引用其他脚本等。可以对 $[yyyyMMddHHmmss] 任意分解组合,如 $[yyyyMMdd], $[HHmmss], $[yyyyMM-dd]。该函数用于加减月份, 第一个入口参数为[yyyyMMdd],表示返回时间的格式 第二个入口参数为月份偏移量,表示加减多少个月。若执行的脚本需要一个格式为 yyyy-MM-dd 的前一天日期的参数,进行如下配置即可。1)点击资源中心,点击创建文件。原创 2022-09-28 18:25:45 · 2075 阅读 · 0 评论 -
DolphinScheduler 进阶(工作流传参)
在上游任务传递的参数的情况下,由于上游可能存在多个任务向下游传递参数。当上游传递的参数名称相同时:下游节点会优先使用值为非空的参数。如果存在多个值为非空的参数,则按照上游任务的完成时间排序,选择完成时间最早的上游任务对应的参数。一个任务节点引用的参数可能来自三种类型:分别是全局参数 、上游任务传递的参数、本地参数。DolphinScheduler 支持对任务节点进行灵活的传参,任务节点可通过 ${参数名} 引用参数值。全局参数是指针对整个工作流的所有任务节点都有效的参数。(2)保存工作流,并设置全局参数。原创 2022-09-28 16:57:57 · 4378 阅读 · 3 评论 -
DolphinScheduler 入门(工作流基础配置)
工作流要求:工作流需包含三个 Shell 类型的任务节点,分别是 A,B,C。三个任务的依赖关系如下图所示:1)创建工作流2)配置任务节点(1)节点 A(2)节点 B(3)节点 C3)配置任务节点的依赖关系配置依赖的关系的方式如下两种:(1)直接对 DAG 图进行拖拽操作(2)在节点设置中选择 “前置任务”4)保存工作流定义上图中颜色标记从左到右依次是,编辑,运行,定时,上线,复制工作流,定时管理,删除,树形图,导出,版本信息。原创 2022-09-26 13:09:08 · 3853 阅读 · 0 评论 -
DolphinScheduler 入门(项目管理配置)
整个项目管理的配置大概就是这些,首先要进入到自己的用户,之后在自己的用户去创建工作流,以及配置等概览。默认不使用管理员用户操作项目和工作流等,故需先切换到普通用户 haohuan。点击gmall之后,整体概览如下图。2)使用 haohuan 用户登录。1)admin 用户退出。原创 2022-09-26 09:17:20 · 205 阅读 · 0 评论 -
DolphinScheduler 入门(安全中心配置)
租户对应的是 Linux 的用户,用于 worker 提交作业所使用的用户。打开要设置分组的 Worker 节点上的 worker.properties 配置文件,修改worker.groups 参 数,worker.groups 参数的值为该 Worker 节点对应的分组名称,默认为 default,如果该 worker节点属于多个分组,则多个分组名称以逗号隔开。一个告警组可包含多个告警实例,一个告警实例,需选择一个告警插件,并配置相应参数,目前支持的告警插件有电子邮件、钉钉、企业微信、飞书等。原创 2022-09-26 08:49:59 · 2429 阅读 · 0 评论 -
DolphinScheduler 集群模式部署
数据库初始化脚本位于 DolphinScheduler 解 压 目 录 下 的 script 目 录 中 , 即/opt/software/ds/apache-dolphinscheduler-2.0.5-bin/script/。(1)拷贝 MySQL 驱动到 DolphinScheduler 的解压目录下的 lib 中,要求使用 MySQL JDBC Driver 8.0.16。(2)需部署数据库,支持 MySQL(5.7+)或者 PostgreSQL(8.2.15+)。1)一键启停所有服务。原创 2022-09-23 11:52:34 · 1038 阅读 · 0 评论 -
DolphinScheduler 部署说明
伪集群模式(Pseudo-Cluster)是在单台机器部署 DolphinScheduler 各项服务,该模式下 master、worker、api server、logger server 等服务都只在同一台机器上。只需配置 JDK 环境,就可一键启动DolphinScheduler,快速体验其功能。DolphinScheduler 支持多种部署模式,包括单机模式(Standalone)、伪集群模式(Pseudo-Cluster)、集群模式(Cluster)等。原创 2022-09-23 10:05:21 · 866 阅读 · 1 评论 -
DolphinScheduler 简介
Apache DolphinScheduler 是一个分布式、易扩展的可视化 DAG 工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。原创 2022-09-23 09:55:31 · 998 阅读 · 0 评论