什么是DolphinScheduler?
DolphinScheduler是由Apache基金会支持的一个开源项目,它提供了一个分布式、易扩展的可视化DAG工作流任务调度平台。它能够处理复杂的任务依赖关系,支持多种任务类型,包括数据同步、数据计算、数据挖掘等。
概述
- 单机模式(Standalone):在这种模式下,DolphinScheduler的所有服务都运行在一个名为StandaloneServer的单一进程中。它内置了注册中心Zookeeper和基于内存的数据库H2。这种模式非常适合快速体验DS的基本功能,而无需复杂的集群配置。
- 环境要求:只需要配置好JDK环境,就可以一键启动DolphinScheduler,快速体验其功能。DolphinScheduler需要JDK 1.8或更高版本。
配置链接
- 官方文档提供了详细的安装指南和数据源配置说明:
使用新版本的DS
- 推荐使用最新版本的DolphinScheduler,例如:
apache-dolphinscheduler-3.1.8-bin
。
部署步骤
1. 下载DolphinScheduler
您可以从Apache DolphinScheduler的官方网站或GitHub仓库下载最新版本的DolphinScheduler。
Apache DolphinScheduler 3.1.8 的下载
2.拷贝MySQL驱动
将MySQL的JDBC驱动包拷贝到所有服务的jars目录下。我是在/opt/installs/目录下
cd /opt/installs/apache-dolphinscheduler-3.1.8-bin
cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./alert-server/libs/standalone-server/
cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./api-server/libs/standalone-server/
cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./master-server/libs/standalone-server/
cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./standalone-server/libs/standalone-server/
cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./tools/libs/standalone-server/
cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./worker-server/libs/standalone-server/
3. 初始化数据库
DolphinScheduler使用H2数据库作为默认的存储解决方案。您需要在Linux终端中运行数据库初始化脚本来初始化数据库。
1)创建dolphinscheduler数据库
使用图形化工具DataGrip运行
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
创建用户[非必须的]
假如你想创建,会遇到密码太简单的问题:
如果提示密码等级过低:
#mysql8
set global validate_password.policy=LOW;
set global validate_password.length=4;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;
创建新用户:
CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
FLUSH PRIVILEGES;
validate_password 报红不影响运行结果
2)在Linux黑窗口运行(连接刚创建的dolphinscheduler数据库)
export DATABASE=mysql
export SPRING_PROFILES_ACTIVE=dolphinscheduler
export SPRING_DATASOURCE_URL="jdbc:mysql://bigdata01:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true"
export SPRING_DATASOURCE_USERNAME=dolphinscheduler
export SPRING_DATASOURCE_PASSWORD=123456
3) 初始化数据库(在Linux黑窗口运行)
bash tools/bin/upgrade-schema.sh
4. 修改 DolphinScheduler 的配置文件
编辑位于apache-dolphinscheduler-3.1.8-bin/standalone-server/conf
目录下的application.yaml 文件,将其中关于数据库连接的部分修改为指向你的 MySQL 实例,包括用户名、密码、数据库名等信息。以下是修改后的示例:(注释后第一个spring)
datasource:
driver-class-name: com.mysql.cj.jdbc.Driver
url: jdbc:mysql://bigdata01:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true
username: dolphinscheduler
password: 123456
5. 启动DolphinScheduler
在Linux命令行中运行以下命令启动DolphinScheduler
注意: 单机模式(Standalone) 仅建议 20 个以下工作流使用,因为其采用内存式的 H2 Database, Zookeeper Testing Server,任务过多可能导致不稳定,并且如果重启或者停止 standalone-server 会导致内存中数据库里的数据清空。
在/opt/installs/apache-dolphinscheduler-3.1.8-bin/目录下运行
如何启动和关闭单机版:
# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 查看 Standalone Server 状态
bash ./bin/dolphinscheduler-daemon.sh status standalone-server
运行成功显示 StandakoneServer
6. 访问UI界面
启动成功后,您可以通过浏览器访问DolphinScheduler的UI界面,默认地址为http://localhost:12345/dolphinscheduler
。
账号和密码: admin dolphinscheduler123
7.测试
- 启动DolphinScheduler后,可以通过访问UI界面进行测试。
结语
通过上述步骤,您可以在单机模式下快速搭建DolphinScheduler。这个过程不仅有助于理解DS的基本操作,还能为后续的集群部署和生产环境使用打下坚实的基础。