Apache Dolphinscheduler —— CDH6.3.2集群模式部署(扩容)

一、前期准备

参考此文章准备： https://blog.csdn.net/qq_42502354/article/details/116537022?spm=1001.2014.3001.5501

1、将新的机器选择同一版本安装相应 Apache Dolphinscheduler
查看配置文件安装位置
installPath="/opt/dolphinscheduler"
解压安装包到该目录

2、添加 jar 包
还需要手动添加 [ mysql-connector-java 驱动 jar ] 包到 lib 目录下
mysql-connector-java-8.0.19.jar

二、修改配置

从现有的节点，直接复制目录替换掉添加节点中的配置目录

1、重点检查:

datasource.properties 中的数据库连接信息.
zookeeper.properties 中的连接zk的信息.
common.properties 中关于资源存储的配置信息(如果设置了hadoop,请检查是否存在core-site.xml和hdfs-site.xml配置文件).
env/dolphinscheduler_env.sh 中的环境变量

2、将jdk软链到/usr/bin/java下

sudo ln -s /opt/soft/java/bin/java /usr/bin/java

3、Worker分组
如果扩容的是worker节点,需要设置worker分组.
每个worker节点都会归属于自己的Worker分组,默认分组为default.

在任务执行时,可以将任务分配给指定worker分组，最终由该组中的worker节点执行该任务.

新增/更新 worker分组

打开要设置分组的worker节点上的"conf/worker.properties"配置文件. 修改worker.groups参数.
worker.groups参数后面对应的为该worker节点对应的分组名称,默认为default.
如果该worker节点对应多个分组,则以逗号隔开.
示例:
worker.groups=default,test

4、修改 所有 节点上的配置文件 conf/config/install_config.conf
新增的master节点, 需要修改 ips 和 masters 参数.
新增的worker节点, 需要修改 ips 和 workers 参数.

#在哪些机器上新增部署DS服务,多个物理机之间用逗号隔开.
ips=“ds1,ds2,ds3,ds4”

#ssh端口,默认22
sshPort=“22”

#master服务部署在哪台机器上
masters=“现有master01,现有master02,ds1,ds2”

#worker服务部署在哪台机器上,并指定此worker属于哪一个worker组,下面示例的default即为组名
workers=“现有worker01:default,现有worker02:default,ds3:default,ds4:default”

三、重启集群&验证

停止命令:
bin/stop-all.sh 停止所有服务

启动命令:
bin/start-all.sh 启动所有服务

原始节点：

新增扩容节点

web界面查看，增加成功