小白也能玩明白，海豚调度器DolphinScheduler 搭建改造可用单机版DS[实战]

置顶深情秋刀鱼..

已于 2024-11-11 11:02:31 修改

阅读量3.4k

点赞数 39

文章标签：大数据 vim 数据仓库

于 2024-09-09 20:06:20 首次发布

本文链接：https://blog.csdn.net/qq_62049041/article/details/142066731

版权

官方文档

DolphinScheduler | 文档中心 (apache.org)

DolphinScheduler数据源支持

DolphinScheduler数据源配置 (notion.site)

本篇中使用的DolphinScheduler的版本为apache-dolphinscheduler-3.1.8-bin

dolphinscheduler的部署

上传到需求的目录，本篇以/opt/installs为例

本篇所使用虚拟机为linux，虚拟机名称为bigdata，且已经配置过映射关系（ip可以用虚拟机名称替代）

解压

tar -zxvf  xxx.tar.gz  -C /opt/installs/

将mysql的驱动包拷贝到所有的服务的jars目录下：

cd apache-dolphinscheduler-3.1.8-bin

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./standalone-server/libs/standalone-server/

dolphinscheduler自带了H2数据库以及zookeeper，但是单机模式下使用自带的H2数据库，会导致退出后重新进入dolphinscheduler时原有的数据丢失，所以如果要正常使用dolphinscheduler需要修改数据库源，本篇将使用mysql作为数据库源

进入数据库中新建一个schema

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

创建一个新的用户（也可以直接用root）

在创建新用户前由于mysql的安全策略，新用户的密码不可以过于简单，所以先修改安全策略再进行新用户的创建

#创建用户[非必须的]
#假如你想创建，会遇到密码太简单的问题：
#如果提示密码等级过低：
#mysql8
set global validate_password.policy=LOW;
set global validate_password.length=4;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;
#以上代码均可以在数据库远程连接工具中直接使用，但是显示会报红

创建新用户

CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY '123456';

给新用户权限，以及设置任何路径都可以访问

GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
FLUSH PRIVILEGES;

然后在linux窗口声明变量（可以直接配置到环境变量中，但是本篇仅作演示，所以直接声明变量）

export DATABASE=mysql
export SPRING_PROFILES_ACTIVE=dolphinscheduler
export SPRING_DATASOURCE_URL="jdbc:mysql://bigdata:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true"
export SPRING_DATASOURCE_USERNAME=dolphinscheduler
export SPRING_DATASOURCE_PASSWORD=123456

初始化数据库（在linux窗口中）

bash tools/bin/upgrade-schema.sh

修改 DolphinScheduler 的配置

在 DolphinScheduler 的安装目录下找到 conf/application.yaml 文件。
将其中关于数据库连接的部分修改为指向你的 MySQL 实例，包括用户名、密码、数据库名等信息。以下是修改后的示例：

 datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://bigdata:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true
    username: dolphinscheduler
    password: 123456

由于yaml文件对文件格式有很严格的要求，所以修改完以后一定要检查文件格式

启动HDFS存储

修改/opt/installs/apache-dolphinscheduler-3.1.8-bin/standalone-server/conf下的common.properties

以下是已经修改好的

修改完成以后就可以启动单机DolphinScheduler

# cd到/opt/installs/apache-dolphinscheduler-3.1.8-bin
如何启动和关闭单机版：
# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 查看 Standalone Server 状态
bash ./bin/dolphinscheduler-daemon.sh status standalone-server

启动