海豚调度器DolphinScheduler--搭建单机版DolphinScheduler实战指南

天冬忘忧

已于 2024-09-25 11:50:28 修改

阅读量2.1k

点赞数 33

分类专栏： DolphinScheduler 文章标签： mysql hadoop github linux 大数据

于 2024-09-10 12:02:19 首次发布

本文链接：https://blog.csdn.net/weixin_64726356/article/details/142093988

版权

DolphinScheduler 专栏收录该内容

6 篇文章

订阅专栏

什么是DolphinScheduler？

DolphinScheduler是由Apache基金会支持的一个开源项目，它提供了一个分布式、易扩展的可视化DAG工作流任务调度平台。它能够处理复杂的任务依赖关系，支持多种任务类型，包括数据同步、数据计算、数据挖掘等。

概述

单机模式（Standalone）：在这种模式下，DolphinScheduler的所有服务都运行在一个名为StandaloneServer的单一进程中。它内置了注册中心Zookeeper和基于内存的数据库H2。这种模式非常适合快速体验DS的基本功能，而无需复杂的集群配置。
环境要求：只需要配置好JDK环境，就可以一键启动DolphinScheduler，快速体验其功能。DolphinScheduler需要JDK 1.8或更高版本。

配置链接

官方文档提供了详细的安装指南和数据源配置说明：

使用新版本的DS

推荐使用最新版本的DolphinScheduler，例如：apache-dolphinscheduler-3.1.8-bin。

部署步骤

1. 下载DolphinScheduler

您可以从Apache DolphinScheduler的官方网站或GitHub仓库下载最新版本的DolphinScheduler。

Apache DolphinScheduler 3.1.8 的下载

2.拷贝MySQL驱动

将MySQL的JDBC驱动包拷贝到所有服务的jars目录下。我是在/opt/installs/目录下

cd /opt/installs/apache-dolphinscheduler-3.1.8-bin



cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./alert-server/libs/standalone-server/

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./api-server/libs/standalone-server/

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./master-server/libs/standalone-server/

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./standalone-server/libs/standalone-server/

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./tools/libs/standalone-server/

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./worker-server/libs/standalone-server/

3. 初始化数据库

DolphinScheduler使用H2数据库作为默认的存储解决方案。您需要在Linux终端中运行数据库初始化脚本来初始化数据库。

1）创建dolphinscheduler数据库

使用图形化工具DataGrip运行


CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

创建用户[非必须的]
假如你想创建，会遇到密码太简单的问题：
如果提示密码等级过低：
#mysql8
set global validate_password.policy=LOW;
set global validate_password.length=4;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;

创建新用户：

CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
FLUSH PRIVILEGES;

validate_password 报红不影响运行结果

2）在Linux黑窗口运行（连接刚创建的dolphinscheduler数据库）

export DATABASE=mysql
export SPRING_PROFILES_ACTIVE=dolphinscheduler
export SPRING_DATASOURCE_URL="jdbc:mysql://bigdata01:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true"
export SPRING_DATASOURCE_USERNAME=dolphinscheduler
export SPRING_DATASOURCE_PASSWORD=123456

3）初始化数据库（在Linux黑窗口运行）

bash tools/bin/upgrade-schema.sh

4. 修改 DolphinScheduler 的配置文件

编辑位于apache-dolphinscheduler-3.1.8-bin/standalone-server/conf目录下的application.yaml 文件，将其中关于数据库连接的部分修改为指向你的 MySQL 实例，包括用户名、密码、数据库名等信息。以下是修改后的示例：（注释后第一个spring）

datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://bigdata01:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true
    username: dolphinscheduler
    password: 123456

5. 启动DolphinScheduler

在Linux命令行中运行以下命令启动DolphinScheduler

注意: 单机模式（Standalone）仅建议 20 个以下工作流使用，因为其采用内存式的 H2 Database, Zookeeper Testing Server，任务过多可能导致不稳定，并且如果重启或者停止 standalone-server 会导致内存中数据库里的数据清空。

在/opt/installs/apache-dolphinscheduler-3.1.8-bin/目录下运行

如何启动和关闭单机版：
# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 查看 Standalone Server 状态
bash ./bin/dolphinscheduler-daemon.sh status standalone-server

运行成功显示 StandakoneServer