海豚调度器DolphinScheduler--搭建单机版DolphinScheduler实战指南

什么是DolphinScheduler？

DolphinScheduler是由Apache基金会支持的一个开源项目，它提供了一个分布式、易扩展的可视化DAG工作流任务调度平台。它能够处理复杂的任务依赖关系，支持多种任务类型，包括数据同步、数据计算、数据挖掘等。

概述

• 单机模式（Standalone）：在这种模式下，DolphinScheduler的所有服务都运行在一个名为StandaloneServer的单一进程中。它内置了注册中心Zookeeper和基于内存的数据库H2。这种模式非常适合快速体验DS的基本功能，而无需复杂的集群配置。
• 环境要求：只需要配置好JDK环境，就可以一键启动DolphinScheduler，快速体验其功能。DolphinScheduler需要JDK 1.8或更高版本。

配置链接

• 官方文档提供了详细的安装指南和数据源配置说明：
  • DolphinScheduler Standalone安装指南
  • 数据源设置
  • Notion上的DolphinScheduler笔记

使用新版本的DS

• 推荐使用最新版本的DolphinScheduler，例如：apache-dolphinscheduler-3.1.8-bin。

部署步骤

1. 下载DolphinScheduler

您可以从Apache DolphinScheduler的官方网站或GitHub仓库下载最新版本的DolphinScheduler。

 Apache DolphinScheduler 3.1.8 的下载

2.拷贝MySQL驱动

将MySQL的JDBC驱动包拷贝到所有服务的jars目录下。我是在/opt/installs/目录下

cd /opt/installs/apache-dolphinscheduler-3.1.8-bin



cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./alert-server/libs/standalone-server/

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./api-server/libs/standalone-server/

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./master-server/libs/standalone-server/

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./standalone-server/libs/standalone-server/

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./tools/libs/standalone-server/

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./worker-server/libs/standalone-server/

3. 初始化数据库

DolphinScheduler使用H2数据库作为默认的存储解决方案。您需要在Linux终端中运行数据库初始化脚本来初始化数据库。

1）创建dolphinscheduler数据库

使用图形化工具DataGrip运行

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

创建用户[非必须的]
假如你想创建，会遇到密码太简单的问题：
如果提示密码等级过低：
#mysql8
set global validate_password.policy=LOW;
set global validate_password.length=4;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;

创建新用户：

CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
FLUSH PRIVILEGES;

 validate_password 报红不影响运行结果

2）在Linux黑窗口运行（连接刚创建的dolphinscheduler数据库）

export DATABASE=mysql
export SPRING_PROFILES_ACTIVE=dolphinscheduler
export SPRING_DATASOURCE_URL="jdbc:mysql://bigdata01:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true"
export SPRING_DATASOURCE_USERNAME=dolphinscheduler
export SPRING_DATASOURCE_PASSWORD=123456

3） 初始化数据库（在Linux黑窗口运行）

bash tools/bin/upgrade-schema.sh

4. 修改 DolphinScheduler 的配置文件

编辑位于apache-dolphinscheduler-3.1.8-bin/standalone-server/conf目录下的application.yaml 文件，将其中关于数据库连接的部分修改为指向你的 MySQL 实例，包括用户名、密码、数据库名等信息。以下是修改后的示例：（注释后第一个spring）

datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://bigdata01:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true
    username: dolphinscheduler
    password: 123456

5. 启动DolphinScheduler

在Linux命令行中运行以下命令启动DolphinScheduler

注意: 单机模式（Standalone） 仅建议 20 个以下工作流使用，因为其采用内存式的 H2 Database, Zookeeper Testing Server，任务过多可能导致不稳定，并且如果重启或者停止 standalone-server 会导致内存中数据库里的数据清空。 

在/opt/installs/apache-dolphinscheduler-3.1.8-bin/目录下运行

如何启动和关闭单机版：
# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 查看 Standalone Server 状态
bash ./bin/dolphinscheduler-daemon.sh status standalone-server

 运行成功显示 StandakoneServer

6. 访问UI界面

启动成功后，您可以通过浏览器访问DolphinScheduler的UI界面，默认地址为http://localhost:12345/dolphinscheduler。

账号和密码：  admin  dolphinscheduler123

7.测试

• 启动DolphinScheduler后，可以通过访问UI界面进行测试。

结语

        通过上述步骤，您可以在单机模式下快速搭建DolphinScheduler。这个过程不仅有助于理解DS的基本操作，还能为后续的集群部署和生产环境使用打下坚实的基础。