dolphinscheduler部署文档

参考文档:https://blog.csdn.net/weixin_47884711/article/details/123523144

一、环境

平台:HDP(Ambari)

zookeeper:192.168.3.135,192.168.3.169,192.168.3.221

yarn:192.168.3.221,192.168.3.169

mysql:192.168.0.140

dolphinscheduler版本:1.3.5

mysql驱动:mysql-connector-java-8.0.22.jar

配置目录:/data/soft/dolphinscheduler-incubating-1.3.5

分发节点信息:192.168.3.203

二、集群搭建

1、在203节点新建安装目录

mkdir -p /data/soft/

2、将tar包导入安装目录并解压

[root@node-str-coretrrl0003 soft]# pwd

/data/soft

apache-dolphinscheduler-incubating-1.3.5-dolphinscheduler-bin.tar.gz

tar -zxvf apapache-dolphinscheduler-incubating-1.3.5-dolphinscheduler-bin.tar.gz

3、解压包重命名

mv apache-dolphinscheduler-1.3.6-bin dolphinscheduler-1.3.6-bin

[root@node-str-coretrrl0003 soft]# ls

mv apache-dolphinscheduler-incubating-1.3.5-dolphinscheduler-bin dolphinscheduler-incubating-1.3.5

4、每个节点配置hosts映射

[root@node-str-coretrrl0003 soft]# cat /etc/hosts

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

5、配置ssh免密登录 192.168.0.203分发密钥到下面机器

192.168.3.203

6、数据库初始化,华为云rds 192.168.0.140

(1)将mysql驱动放入DS的lib目录下;

[root@node-str-coretrrl0003 lib]# ll mysql-connector-java-5.1.47.jar

-rwxr-x—. 1 root root 1007502 Jul 22 11:00 mysql-connector-java-5.1.47.jar

[root@node-str-coretrrl0003 lib]# pwd

/data/soft/dolphinscheduler-incubating-1.3.5/lib

(2)建库授权;

mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO ‘dolph’@‘%’ IDENTIFIED BY ‘***********’;

mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO ‘dolph’@‘localhost’ IDENTIFIED BY ‘{password}’;

mysql> flush privileges;

7、配置conf/datasource.properties

mysql

spring.datasource.driver-class-name=com.mysql.jdbc.Driver

spring.datasource.url=jdbc:mysql://192.168.0.140:3306/dolphinscheduler?characterEncoding=UTF-8&allowMultiQueries=true

spring.datasource.username=dolph

spring.datasource.password=**********

修改并保存完后,执行 script 目录下的创建表及导入基础数据脚本:

sh script/create-dolphinscheduler.sh

8、修改conf/env/dolphinscheduler_env.sh

export HADOOP_HOME=/opt/client/HDFS/hadoop

export HA

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
对于DolphinScheduler集群部署,你可以按照以下步骤进行操作: 1. 确保你的集群中有足够的资源,包括计算和存储资源。 2. 安装依赖软件,包括MySQL、Zookeeper、Hadoop和Spark。根据你的需求,你还可以安装其他组件,如Kafka和Elasticsearch。 3. 下载DolphinScheduler的安装包,并解压到你选择的目录。 4. 配置MySQL数据库,创建一个新的数据库和相关的表。你可以使用DolphinScheduler提供的初始化脚本来完成这个过程。 5. 配置DolphinScheduler的主配置文件(conf/dolphinscheduler.properties),包括数据库连接信息和Zookeeper的地址等。 6. 配置Zookeeper集群信息,将Zookeeper的地址配置到DolphinScheduler的主配置文件中。 7. 配置Hadoop和Spark集群信息,将它们的地址配置到DolphinScheduler的主配置文件中。如果你使用的是分布式模式,还需要配置Hadoop和Spark的HA信息。 8. 启动DolphinScheduler的Master节点和Worker节点。你可以使用启动脚本(bin/dolphinscheduler-daemon.sh)来启动它们。 9. 访问DolphinScheduler的Web界面,在浏览器中输入Master节点的地址和端口号(默认为http://localhost:12345)。 10. 在Web界面中配置和管理你的工作流任务,包括创建、调度和监控任务等。 请注意,以上步骤只是一个简单的概述,实际部署过程可能会因你的配置和需求而有所不同。你可以参考DolphinScheduler官方文档中的详细部署指南,以获取更多详细的信息和指导。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值