海豚调度器（DolphinScheduler）单机模式的部署与使用

于 2024-09-09 19:59:25 发布
阅读量1k 收藏 18
点赞数 23
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xieyichun_/article/details/142066221
版权

一、概述

1、什么是DolphinScheduler  

Apache DolphinScheduler （下面简称DS） 是一个为企业级应用场景设计的开源任务调度系统，它提供了分布式的、可扩展的并且易于使用的可视化界面，让用户能够高效地管理和调度复杂的工作流任务，覆盖从任务创建到监控的全生命周期数据处理流程。它旨在通过其基于有向无环图（DAG）的任务编排能力，解决大数据任务中复杂的依赖关系和ETL流程监控难题，它不仅能够实现实时的任务状态监控，还提供了包括任务重试、失败恢复、暂停及终止等一系列操作，以增强数据研发流程的可靠性和效率。

  DAG --有向无环图，有顺序，但是不会形成环的图表。

 2、特性

2.1 使用简单

Apache DolphinScheduler 提供了一个简单易用的可视化界面，用户可以通过拖拽操作轻松定义和管理复杂的工作流；

2.2使用场景丰富

它支持多种任务类型，包括 Shell、MR、Spark、SQL 等超过十种任务类型，并且具有跨语言的兼容性和良好的扩展性；

2.3、丰富的工作流操作

系统内置了丰富的操作选项，如定时、暂停、恢复和停止工作流等功能，方便用户进行全局和局部的参数控制；

2.4、高可靠性

DolphinScheduler 还采用了去中心化的高可靠性设计，支持原生 HA 和过载容错，确保了系统的稳定运行；

2.5、高扩展性

对多租户和在线资源管理的支持，使其能够应对大规模的数据任务需求，展示出卓越的高扩展性。

3、DS架构

 

DolphinScheduler的主要角色如下：

MasterServer采用分布式无中心设计理念，MasterServer主要负责 DAG 任务切分、任务提交、任务监控，并同时监听其它MasterServer和WorkerServer的健康状态。
WorkerServer也采用分布式无中心设计理念，WorkerServer主要负责任务的执行和提供日志服务。
ZooKeeper服务，系统中的MasterServer和WorkerServer节点都通过ZooKeeper来进行集群管理和容错。
Alert服务，提供告警相关服务。
API接口层，主要负责处理前端UI层的请求。
UI，系统的前端页面，提供系统的各种可视化操作界面。 

 二、DS的部署说明

1、操作系统要求

操作系统版本
Red Hat Enterprise Linux7.0 及以上
CentOS7.0 及以上
Oracle Enterprise Linux7.0 及以上
Ubuntu LTS16.04 及以上

2、网络要求

组件默认端口说明
MasterServer5678非通信端口，只需本机端口不冲突即可
WorkerServer1234非通信端口，只需本机端口不冲突即可
ApiApplicationServer12345提供后端通信端口

3、服务器建议配置

CPU内存硬盘类型网络实例数量
4核+8 GB+SAS千兆网卡1+

三、搭建单机版DS

1、上传解压

推荐使用新版本的DS:
apache-dolphinscheduler-3.1.8-bin

没有的翻我第一篇文章去我的百度网盘上下载

tar -zxvf  xxx.tar.gz  -C /opt/installs/

xxx是你的压缩包名字   

-C的意思是解压到后面的文件夹下，没有的要么创建，要么解压到本目录下，即-C以及后面的都不要带

 2、上传mysql驱动包

到这五个模块的lib下

api-server/libs
alert-server/libs
master-server/libs
worker-server/libs
tools/libs

没有这个驱动包的也去我百度网盘上拿

3、创建数据库

使用 MySQL 对 DolphinScheduler 的元数据进行管理，不使用默认的数据库 H2。

连接你部署DS的虚拟机的mysql，在这个mysql下创建

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

4、创建新用户（非必需）

假如你想创建，会遇到密码太简单的问题：
如果提示密码等级过低：
#mysql8
set global validate_password.policy=LOW;
set global validate_password.length=4;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;

创建新用户：

CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
FLUSH PRIVILEGES;

 

还是在那个mysql下操作。

5、数据库配置信息

最好在 "apache-dolphinscheduler-3.1.8-bin/bin" 下运行：

export DATABASE=mysql
export SPRING_PROFILES_ACTIVE=dolphinscheduler
export SPRING_DATASOURCE_URL="jdbc:mysql://bigdata01:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true"
export SPRING_DATASOURCE_USERNAME=dolphinscheduler
export SPRING_DATASOURCE_PASSWORD=123456

6、初始化数据库

bash tools/bin/upgrade-schema.sh 

7、修改配置文件

在  apache-dolphinscheduler-3.1.8-bin/standalone-server/conf   下有一个  application.yaml 

将其中关于数据库连接的部分修改为指向你的 MySQL 实例，包括用户名、密码、数据库名等信息。

datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://bigdata01:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true
    username: dolphinscheduler
    password: 123456

8、启动

注意: Standalone 仅建议 20 个以下工作流使用，因为其采用内存式的 H2 Database, Zookeeper Testing Server，任务过多可能导致不稳定，并且如果重启或者停止 standalone-server 会导致内存中数据库里的数据清空。 

如何启动和关闭单机版：
# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 查看 Standalone Server 状态
bash ./bin/dolphinscheduler-daemon.sh status standalone-server

 

四、登录DS

1、访问地址及账号密码

访问地址：http://bigdata01:12345/dolphinscheduler/ui
账号和密码：  admin  dolphinscheduler123

2、安全中心

安全中心只有管理员账户才有权限操作，其中包括 Yarn 队列管理、租户管理、用户管理、告警组管理、worker 分组管理、令牌管理等功能，在用户管理模块可以对资源、数据源、项目等授权

3、租户管理

租户管理允许管理员配置和管理不同租户的权限和资源使用情况。

租户是 DolphinScheduler 中的一个概念，其实就是对应着 Linux 系统的一个用户，代表着一个独立的业务单位或用户组。

点击创建租户，加入linux系统的一个用户

4、用户管理

用户管理模块允许管理员创建、编辑和删除用户账户，并配置用户的访问权限。通过用户管理，可以细粒度地控制用户对 DolphinScheduler 的操作权限。

添加用户
设置登录 DolphinScheduler 的新用户，关联指定租户、队列、邮件以及手机号。

 5、告警组管理

告警组管理用于配置系统中的告警组，定义告警的接收人和通知方式。这样，在系统出现异常或故障时，相关人员可以迅速得到通知，以便及时采取行动。

添加告警实例
定义一个告警的类别以及实例信息，填写对应的信息。

添加告警组
为设置的告警实例分配告警组。

 6、Worker

Worker 分组管理允许管理员对 DolphinScheduler 中的 Worker 节点进行分组和管理，这有助于优化任务调度和资源利用。

添加 Worker 分组管理

五、使用

1、创建项目

2、创建任务

点击进入刚刚创建的项目 

下图为工作流配置页面，共包含三个模快，分别为工作流定义、工作流实例和任务实例。
工作流定义：用于定义工作流，包括工作流各节点任务详情及各节点依赖关系等。
工作流实例：工作流每执行一次就会生成一个工作流示例。此处可查看正在运行的工作流以及已经完成的工作流。
任务实例：工作流中的一个节点任务，每执行一次就会生成一个任务实例。此处可用于查看正在执行的节点任务以及已经完成的节点任务。

点击  工作流定义

3、执行任务

先上线再执行

 点击执行之后

点击确定，此时工作流实例就会出现

一次只有一个，但我已经执行多次所以出现较多。

假如你的任务运行了，但是没有工作流实例，只提示成功，可以查看一下是否为内存不够了。
 worker 你的IP:1234 current cpu load average 0.43 is too high or available memory 0.17G is too low
提升一下内存即可。

此时点击 任务实例-->查看日志  即可查看你执行之后的结果

解怡椿
关注
  • 23
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
dolphinScheduler海豚调度器动态传递任务执行参数
02-23
### dolphinScheduler海豚调度器动态传递任务执行参数 #### 一、重要性及应用场景 **dolphinScheduler**（简称DS）是一款强大的分布式任务调度平台，支持多种类型的作业执行，如Shell、Python、Spark等。它能够...
深入了解海豚调度DolphinScheduler
热门推荐
zhengzaifeidelushang的博客
11-14 5万+
深入了解海豚调度DolphinScheduler
12-海豚调度器DolphinScheduler
qq_43819048的博客
09-11 4389
自定义日期格式$[yyyyMMdd]也可以写成$[yyyy-MM-dd]$[HHmmss] 也可以添加: $[HH:mm:ss]
海豚调度器(DolphinScheduler)集群搭建详细笔记
qq_40623672的博客
07-18 1302
dolphinscheduler集群搭建详细笔记
DolphinScheduler V3.1.8 海豚调度器【概述、安装、功能介绍、项目运用、邮箱预警设置】轻松拿捏！
JIE的博客 --- moon_coder
11-17 9512
Apache DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。解决数据研发 ETL 依赖错综复杂，无法监控任务健康状态的问题。
Apache DolphinScheduler——开源大数据调度器神器（国人之光）
男神的专栏
05-31 9687
本文已参与「新人创作礼」活动，一起开启掘金创作之路。
海豚调度系列之：认识海豚调度
zhengzaifeidelushang的博客
03-13 2289
简单易用：丰富的使用场景：High Reliability：High Scalability：DolphinScheduler 作为一款开源分布式工作流任务调度系统，可以很好地部署和运行在 Intel 架构服务器及主流虚拟化环境下，并支持主流的Linux操作系统环境Linux 操作系统版本要求 服务器建议配置DolphinScheduler 支持运行在 Intel x86-64 架构的 64 位通用硬件服务器平台。对生产环境的服务器硬件配置有以下建议：生产环境 网络要求DolphinScheduler正常
海豚调度，dolphinscheduler-data-quality-dev-SNAPSHOT最新版本3.1.1
11-25
DolphinScheduler(海豚调度) dolphinscheduler-data-quality-dev-SNAPSHOT数据质量jar包添加配置信息：<server-name>/conf/common.propertiesdata-quality.jar.name=dolphinscheduler-data-quality-dev-SNAPSHOT.jar...
海豚调度器3.1.8-dolphinscheduler-3.1.8-bin.tar
11-13
海豚调度器（DolphinScheduler）是一款开源的工作流调度系统，主要应用于大数据处理场景，为企业构建了统一的作业流程调度平台。3.1.8是其版本号，表明这是该软件的一个稳定版本。"apache-dolphinscheduler-3.1.8-...
虚拟机单节点dolphinscheduler调度安装部署
02-02
根据提供的标题、描述、标签及部分内容，我们可以详细探讨如何在虚拟机单节点上进行DolphinScheduler调度系统的安装与部署。此过程不仅涉及基础环境的准备，还包含了多个依赖组件的安装配置，如JDK、MySQL、...
DolphinScheduler+海豚
03-04
### DolphinScheduler与Hive Jar包版本不一致问题详解 #### 一、问题背景及原因分析 在使用DolphinScheduler进行任务调度时，如果遇到与Hive数据源连接失败的问题，通常情况下，这类问题的发生与Hive Jar包的版本...
Apache DolphinScheduler（海豚调度系统）介绍与环境部署
匠人精神，持之以恒！
06-18 5383
Apache DolphinScheduler（简称DolphinScheduler）是一种开源的、分布式的、易于使用的大数据工作流调度系统。它旨在为大数据处理提供一个可靠、高效和可扩展的调度解决方案。
DolphinScheduler海豚调度教程_海豚调度使用说明
2301_79988566的博客
04-29 2463
首页包含用户所有项目的任务状态统计、流程状态统计、工作流定义统计。本文档为dolphinscheduler配置文件说明文档,针对版本为 dolphinscheduler-1.3.x 版本.
一百三十、海豚调度器——用DolphinScheduler定时调度HiveSQL任务
tiantang2renjian的博客
07-17 4959
用海豚调度器定时调度HiveSQL任务
大数据之Apache DolphinScheduler（海豚调度器）介绍
代妈炼金术师
01-05 883
Apache DolphinScheduler（海豚调度器）是一个开源的分布式工作流任务调度系统，旨在解决大规模数据处理流程中的复杂依赖关系和高效执行问题。它允许用户以可视化的方式设计、管理和监控跨多个计算引擎（如Hadoop、Spark、Flink等）的大数据工作流。总之，Apache DolphinScheduler致力于简化数据处理流程的运维工作，帮助组织提升其数据驱动业务的效率和效果，适用于企业级的大规模数据处理与分析场景。
【大数据离线项目四：什么是海豚调度？怎么使用可以将海豚调度应用到我们的大数据项目开发中？】
书生的技术分享
06-23 1327
Apache DolphinScheduler（海豚调度）是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。 解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。 DolphinScheduler 以 DAG（Directed Acyclic Graph，DAG）流式
Dolphinscheduler海豚调度器
pansiliang2009的博客
07-21 394
下载JDK (1.8+)，安装并配置 JAVA_HOME 环境变量，并将其下的 bin 目录追加到 PATH 环境变量中。如果你的环境中已存在，可以跳过这步。：PostgreSQL (8.2.15+) 或者 MySQL (5.7+)，两者任选其一即可，如 MySQL 则需要 JDBC Driver 8.0.16。注意: DolphinScheduler 本身不依赖 Hadoop、Hive、Spark，但如果你运行的任务需要依赖他们，就需要有对应的环境支持。# 部署 DolphinScheduler。
海豚调度DolphinScheduler入门学习
wnm23的专栏
02-25 2498
DolphinScheduler 是一款分布式的、易扩展的、高可用的数据处理平台，主要包含调度中心、元数据管理、任务编排、任务调度、任务执行和告警等模块。其技术架构基于 Spring Boot 和 Spring Cloud 技术栈，采用了分布式锁、分布式任务队列等技术确保任务高可用性。部署灵活，支持单机部署、分布式部署、容器化部署等方式。应用场景广泛，可用于大数据处理、定时任务和流程管理等领域。具有易扩展性、高可用性、多语言支持、易用性和活跃的开发社区等技术优势。
非常全面的DolphinScheduler(海豚调度)安装使用文档
u011250186的博客
05-26 2万+
1. DolphinScheduler的安装 1.1安装环境 1.hadoop2.9.2 2.CentOS7.5 3.JDK1.8 4.Mysql5.7 5.Zookeeper-3.4.14 1.2安装说明 1.这里直接使用root用户进行安装,如果是使用普通用户安装,需要开启sudo免密和集群各节点之间实现ssh免密. 2.配置/etc/hosts文件,做好主机名与ip之间的映射. 3.安装ds的各台机器之间需要做ssh免密登陆(安装ds的用户之间的免密) ...
海豚调度dolphinscheduler如何自定义邮件内容
最新发布
09-10
海豚调度（DolphinScheduler）是一个开源的企业级任务调度系统，它允许用户通过配置来自定义邮件通知的内容。要自定义邮件通知，你需要编辑DolphinScheduler的配置文件，通常是在`conf/email-config.properties`中。以下是设置自定义邮件内容的基本步骤： 1. **设置SMTP服务器信息**：首先，确保配置了SMTP服务器的地址、端口、用户名和密码等基本信息。 ```properties smtp.host=smtp.example.com smtp.port=587 smtp.username=admin@example.com smtp.password=your-password ``` 2. **创建邮件模板**：你可以自定义邮件的主题、正文和HTML样式。在`conf/email-template.html`文件中添加自定义内容，例如： ```html <html> <body> <h1>自定义邮件标题</h1> <p>${jobName} 的状态已更新为 ${jobStatus}。</p> <!-- 更多自定义内容 --> </body> </html> ``` 使用`${}`占位符引用变量，如`${jobName}`和`${jobStatus}`。 3. **配置触发条件**：确定何时发送邮件，这通常是基于任务的状态变化。在DolphinScheduler的任务定义文件（如YAML或XML）中，设置`email`配置，指定当任务达到某个状态时需要发送邮件。 ```yaml job: name: myJob # ... email: notifyType: failure # 可选值有success, failure, all template: your-custom-template ``` 4. **重启服务**：保存配置文件并重启DolphinScheduler服务，使得新的配置生效。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值