搭建单机版海豚调度器DS

前言

个人使用dolphinscheduler时由于内存受限,很难搭建伪集群或者集群的dolphinscheduler,这时就可以安装一个单机版的海豚调度器,简单的解压会出现每次打开数据不会保存问题,本安装亲测更换数据库后基本所有功能都可实现。

使用版本:apache-dolphinscheduler-3.1.8-bin


提示:以下是本篇文章正文内容,下面案例可供参考

上传,解压
tar -zxvf  xxx.tar.gz  -C /opt/installs/

将mysql的驱动包拷贝到所有的服务的jars目录下:

cd apache-dolphinscheduler-3.1.8-bin

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./standalone-server/libs/standalone-server/

在mysql中创建dolphinscheduler数据库来替换其本身内置数据库
进入到MySQL:

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
#创建用户[非必须的]
#假如你想创建,会遇到密码太简单的问题:
#如果提示密码等级过低:
#mysql8
set global validate_password.policy=LOW;
set global validate_password.length=4;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;
#创建新用户:

CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
FLUSH PRIVILEGES;

进入Linux黑窗口运行:

export DATABASE=mysql
export SPRING_PROFILES_ACTIVE=dolphinscheduler
export SPRING_DATASOURCE_URL="jdbc:mysql://bigdata01:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true"
export SPRING_DATASOURCE_USERNAME=dolphinscheduler
export SPRING_DATASOURCE_PASSWORD=123456

初始化数据库:

bash tools/bin/upgrade-schema.sh

修改配置文件:/opt/modules/ds/apache-dolphinscheduler-3.1.8-bin/standalone-server/conf/application.yaml

修改 DolphinScheduler 的配置
在 DolphinScheduler 的安装目录下找到 conf/application.yaml 文件。
将其中关于数据库连接的部分修改为指向你的 MySQL 实例,包括用户名、密码、数据库名等信息。以下是修改后的示例:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://bigdata01:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true
    username: dolphinscheduler
    password: 123456

启动:

注意: Standalone 仅建议 20 个以下工作流使用,因为其采用内存式的 H2 Database, Zookeeper Testing Server,任务过多可能导致不稳定,并且如果重启或者停止 standalone-server 会导致内存中数据库里的数据清空。 


修改standalone-server下的common.properties
(注意这里是修改不是直接添加)

resource.storage.type=HDFS
resource.storage.upload.base.path=/dolphinscheduler
resource.hdfs.fs.defaultFS=hdfs://bigdata01:9820

修改hdfs的权限:

hdfs dfs -chmod -R 777 /

如何启动和关闭单机版:

启动 Standalone Server 服务

bash ./bin/dolphinscheduler-daemon.sh start standalone-server

停止 Standalone Server 服务

bash ./bin/dolphinscheduler-daemon.sh stop standalone-server

查看 Standalone Server 状态

bash ./bin/dolphinscheduler-daemon.sh status standalone-server

访问地址:http://bigdata01:12345/dolphinscheduler/ui
账号和密码:  admin  dolphinscheduler123

后续使用操作和伪集群模式以及集群模式相仿

  • 5
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值