官方文档
DolphinScheduler | 文档中心 (apache.org)
DolphinScheduler数据源支持
DolphinScheduler数据源配置 (notion.site)
本篇中使用的DolphinScheduler的版本为apache-dolphinscheduler-3.1.8-bin
dolphinscheduler的部署
上传到需求的目录,本篇以/opt/installs为例
本篇所使用虚拟机为linux,虚拟机名称为bigdata,且已经配置过映射关系(ip可以用虚拟机名称替代)
解压
tar -zxvf xxx.tar.gz -C /opt/installs/
将mysql的驱动包拷贝到所有的服务的jars目录下:
cd apache-dolphinscheduler-3.1.8-bin
cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./standalone-server/libs/standalone-server/
dolphinscheduler自带了H2数据库以及zookeeper,但是单机模式下使用自带的H2数据库,会导致退出后重新进入dolphinscheduler时原有的数据丢失,所以如果要正常使用dolphinscheduler需要修改数据库源,本篇将使用mysql作为数据库源
进入数据库中新建一个schema
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
创建一个新的用户(也可以直接用root)
在创建新用户前由于mysql的安全策略,新用户的密码不可以过于简单,所以先修改安全策略再进行新用户的创建
#创建用户[非必须的]
#假如你想创建,会遇到密码太简单的问题:
#如果提示密码等级过低:
#mysql8
set global validate_password.policy=LOW;
set global validate_password.length=4;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;
#以上代码均可以在数据库远程连接工具中直接使用,但是显示会报红
创建新用户
CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY '123456';
给新用户权限,以及设置任何路径都可以访问
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
FLUSH PRIVILEGES;
然后在linux窗口声明变量(可以直接配置到环境变量中,但是本篇仅作演示,所以直接声明变量)
export DATABASE=mysql
export SPRING_PROFILES_ACTIVE=dolphinscheduler
export SPRING_DATASOURCE_URL="jdbc:mysql://bigdata:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true"
export SPRING_DATASOURCE_USERNAME=dolphinscheduler
export SPRING_DATASOURCE_PASSWORD=123456
初始化数据库(在linux窗口中)
bash tools/bin/upgrade-schema.sh
修改 DolphinScheduler 的配置
在 DolphinScheduler 的安装目录下找到 conf/application.yaml 文件。
将其中关于数据库连接的部分修改为指向你的 MySQL 实例,包括用户名、密码、数据库名等信息。以下是修改后的示例:
datasource:
driver-class-name: com.mysql.cj.jdbc.Driver
url: jdbc:mysql://bigdata:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true
username: dolphinscheduler
password: 123456
由于yaml文件对文件格式有很严格的要求,所以修改完以后一定要检查文件格式
启动HDFS存储
修改/opt/installs/apache-dolphinscheduler-3.1.8-bin/standalone-server/conf下的common.properties
以下是已经修改好的
修改完成以后就可以启动单机DolphinScheduler
# cd到/opt/installs/apache-dolphinscheduler-3.1.8-bin
如何启动和关闭单机版:
# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 查看 Standalone Server 状态
bash ./bin/dolphinscheduler-daemon.sh status standalone-server
启动
查看状态
图形化界面
访问地址
http://bigdata:12345/dolphinscheduler/ui
(如果一直进不去,去查看conf/application.yaml 中文件格式有没有错误)
账号和密码:
admin dolphinscheduler123
成功进入以后需要手动配置一些东西
进入安全中心
创建租户:
创建用户:
需要输入创建信息
创建好以后需要进行授权
如果觉得admin账户密码过于复杂可以修改密码
输入两次新密码即可
创建完用户给好权限以后可以测试一下能否正常上传数据
进入资源中心
点击上传文件
选择上传的文件即可
上传完以后可以在hdfs上查看文件
如果出现文件编码异常问题需要检查字符集是否为utf-8
出现正常上传的文件即为可以正常上传文件
接着就可以开始项目的创建了
进入项目管理
选择创建项目
输入项目信息
输入好以后点击项目名称
进入项目概览界面
进入工作流定义
选择创建工作流
接下来就可以用可视化界面拖动的方式创建工作流了
可以自定义项目执行流程以及命令类型
以下是一个示例
先执行Anode,Bnode 再执行Cnode
点击Anode即可编辑这个节点
编辑完需要的任务流以后需要上线这个任务流
上线任务流以后就可以执行
工作流启动
工作流运行成功
查看日志
进入任务实例中
点击Anode的日志
执行成功
以上就是海豚调度器DolphinScheduler 单机模式的部署与简单使用