搭建单机版DolphinScheduler

单机模式(standalone)模式下,所有服务均集中于一个StandaloneServer进程中,并且其中内置了Zookeeper和数据库H2(基于内存的)。只需配置JDK环境,就可一键启动DolphinScheduler,快速体验其功能。

1.下载

下载DolphinScheduler

https://dolphinscheduler.apache.org/zh-cn/download/3.1.8

2.安装

上传,解压

tar -zxvf  apache-dolphinscheduler-3.1.8-bin.tar.gz

上传mysql的驱动包到DolphinScheduler的所有服务的lib目录下

cp /opt/tools/hive/lib/mysql-connector-java-8.0.26.jar ./standalone-server/libs/standalone-server/
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

创建用户[非必须的]
假如你想创建,会遇到密码太简单的问题:
如果提示密码等级过低:
#mysql8
set global validate_password.policy=LOW;
set global validate_password.length=4;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;

创建新用户:

CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
FLUSH PRIVILEGES;

在linux运行

export DATABASE=mysql
export SPRING_PROFILES_ACTIVE=dolphinscheduler
export SPRING_DATASOURCE_URL="jdbc:mysql://bigdata01:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true"
export SPRING_DATASOURCE_USERNAME=dolphinscheduler
export SPRING_DATASOURCE_PASSWORD=123456

初始化数据库

bash tools/bin/upgrade-schema.sh

修改配置文件:

/opt/modules/ds/apache-dolphinscheduler-3.1.8-bin/standalone-server/conf/application.yaml

修改 DolphinScheduler 的配置
在 DolphinScheduler 的安装目录下找到 conf/application.yaml 文件。
将其中关于数据库连接的部分修改为指向你的 MySQL 实例,包括用户名、密码、数据库名等信息。以下是修改后的示例:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://bigdata01:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true
    username: dolphinscheduler
    password: 123456

启动服务

注意: Standalone 仅建议 20 个以下工作流使用,因为其采用内存式的 H2 Database, Zookeeper Testing Server,任务过多可能导致不稳定,并且如果重启或者停止 standalone-server 会导致内存中数据库里的数据清空。 

如何启动和关闭单机版:
# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 查看 Standalone Server 状态
bash ./bin/dolphinscheduler-daemon.sh status standalone-server

访问地址:http://bigdata01:12345/dolphinscheduler/ui
账号和密码:  admin  dolphinscheduler123
  • 3
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Docker 是一个开源的应用容器引擎,可以让开发者将应用程序及其依赖打包成一个可移植的容器。DolphinScheduler 是一个分布式的大数据工作流任务调度系统,可以根据业务需求自动调度和执行任务。 在单机上部署 DolphinScheduler 3.1.7,我们可以使用 Docker 方便地搭建环境。下面是具体的步骤: 1. 首先,安装 Docker。根据操作系统的不同,可以在 Docker 官网上下载相应的安装包,并按照官方的指引进行安装。 2. 安装 Docker Compose。Docker Compose 是一个用于定义和运行多容器 Docker 应用程序的工具。同样可以在 Docker 官网上找到相应的安装方式,并进行安装。 3. 下载 DolphinScheduler 3.1.7 的 release 包。可以在 DolphinScheduler 的 GitHub 仓库中找到发布版本,选择合适的版本并下载。 4. 解压 release 包,并进入解压后的文件夹。 5. 修改 Dockerfile 文件。Dockerfile 是 Docker 构建镜像的配置文件,可以根据需要进行修改。一般来说,需要修改的地方包括环境变量的配置和数据源的配置等。 6. 修改 docker-compose.yml 文件。docker-compose.yml 文件定义了 Docker Compose 的配置信息,可以根据需要进行修改。主要需要修改的地方包括挂载目录和环境变量的配置。 7. 使用 Docker Compose 构建镜像并启动容器。在 DolphinScheduler 的文件夹下执行以下命令: ``` docker-compose up -d ``` 通过以上步骤,就可以在单机上部署 DolphinScheduler 3.1.7。在启动容器后,可以通过浏览器访问 DolphinScheduler 的 Web 界面,进行任务的调度和执行。 需要注意的是,单机部署适用于开发和测试环境,对于生产环境则需要考虑使用分布式部署,以提高系统的稳定性和容错性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值