DolphinScheduler单机模式搭建

​​​​​​DolphinScheduler单机模式简介

DolphinScheduler支持多种部署模式，包括单机模式（Standalone）、伪集群模式（Pseudo-Cluster）、集群模式（Cluster）等。

DS是一个大型的，专业的调度工具，非常的耗内存。单机模式比较省内存，所以我们采取单机模式，便于学习且节省内存。

DolphinScheduler单机模式（standalone）下，所有服务均集中于一个StandaloneServer进程中，并且其中内置了注册中心Zookeeper和数据库H2(基于内存的)。只需配置JDK环境，就可一键启动DolphinScheduler，快速体验其功能。（配置链接（点我）配置链接（点我）配置链接（点我））

搭建步骤

上传解压

apache-dolphinscheduler-3.1.8-bin （上传、解压）

tar -zxvf  xxx.tar.gz  -C /opt/installs/

将mysql的驱动包拷贝到所有的服务的jars目录下：

cd apache-dolphinscheduler-3.1.8-bin

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./standalone-server/libs/standalone-server/

创建MySQL用户并设置密码

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

--创建用户[非必须的]
--假如你想创建，会遇到密码太简单的问题：
--如果提示密码等级过低：
--#mysql8
set global validate_password.policy=LOW;
set global validate_password.length=4;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;

--创建新用户：

CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
FLUSH PRIVILEGES;

在Linux黑窗口运行：

export DATABASE=mysql
export SPRING_PROFILES_ACTIVE=dolphinscheduler
export SPRING_DATASOURCE_URL="jdbc:mysql://bigdata01:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true"
export SPRING_DATASOURCE_USERNAME=dolphinscheduler
export SPRING_DATASOURCE_PASSWORD=123456

初始化数据库：

bash tools/bin/upgrade-schema.sh

修改配置文件:

/opt/modules/ds/apache-dolphinscheduler-3.1.8-bin/standalone-server/conf

修改 DolphinScheduler 的配置
在 DolphinScheduler 的安装目录下找到 conf/application.yaml 文件。
将其中关于数据库连接的部分修改为指向你的 MySQL 实例，包括用户名、密码、数据库名等信息。以下是修改后的示例：

 datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://bigdata01:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true
    username: dolphinscheduler
    password: 123456

启动：

# 注意: Standalone 仅建议 20 个以下工作流使用，因为其采用内存式的 H2 Database, Zookeeper Testing Server，任务过多可能导致不稳定，并且如果重启或者停止 standalone-server 会导致内存中数据库里的数据清空。 

如何启动和关闭单机版：
# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 查看 Standalone Server 状态
bash ./bin/dolphinscheduler-daemon.sh status standalone-server

启动单机版的ds，非常节约内存，适合个人开发或学习使用。

访问：

访问地址：http://bigdata01:12345/dolphinscheduler/ui
账号和密码：  admin  dolphinscheduler123

测试：

遇到的问题问题：

上传资源提示 存储未启用 如何开启HDFS？

这个软件下面有很多的服务，将每一个服务下的common.properties中的内容全部修改一遍

resource.storage.type=HDFS
resource.storage.upload.base.path=/dolphinscheduler
resource.hdfs.fs.defaultFS=hdfs://bigdata01:9820

修改hdfs的权限：
hdfs dfs -chmod -R 777 /

重启服务：

# 启动 Standalone Server 服务
./dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
./dolphinscheduler-daemon.sh stop standalone-server