Dolphinscheduler 3.0 windows 部署手册

最新推荐文章于 2024-08-14 15:41:16 发布

szkwh

最新推荐文章于 2024-08-14 15:41:16 发布

阅读量2.8k

点赞数

文章标签： etl 大数据数据仓库

本文链接：https://blog.csdn.net/szkwh/article/details/126995659

版权

本文介绍了如何在Windows服务器上搭建Dolphinscheduler 3.0集群，包括安装必备软件、配置环境、代码修改、数据库初始化和启动服务等步骤。在部署过程中，由于Dolphinscheduler对Windows支持不足，需要对源码进行修改以适应Windows的shell执行。

摘要由CSDN通过智能技术生成

Dolphinscheduler作为国人开源的一款分布式ETL调度工具在2022年4月发布了最新的3.0版本，在健壮性和功能的丰富度上相较之前的版本都有了较大的提高。工作和实际生产中从稳定性的角度我们一般采用基于centOS或者其他版本Linux的集群部署或者K8S部署。因为工作中缺少合适的Linux环境的原因，为了熟悉Dolphinscheduler功能和代码，我尝试在3台windows服务器（Server A, Server B, Server C）上进行了Dolphinscheduler集群的部署，现将部署过程分享如下：

部署准备：

下载必备软件：

Dolphinscheduler 3.0 source code, 3.0版本对windows下shell(bat)的管理和进程管理上功能不全，如果直接用发布的binary版本部分功能不能支持。另一方面，也可以通过源代码进行trouble shooting和学习Dolphinscheduler的调度原理。

OpenJDK 1.8.0, 我们采用的版本信息如下

openjdk version "1.8.0_342"
OpenJDK Runtime Environment Corretto-8.342.07.3 (build 1.8.0_342-b07)
OpenJDK 64-Bit Server VM Corretto-8.342.07.3 (build 25.342-b07, mixed mode)

MySQL社区版本，我们采用MySQL作为Dolphin元数据管理的数据库。

Zookeeper, 作为Dolphinscheduler节点间同步管理的工具。

Cygwin，作为一款windows下模拟Linux环境非常棒的工具，采用cygwin可以更方便的完成ssh服务配置，集群信任主机配置以及规避部分windows命令和shell的差异。

Python 2.7，作为支持DataX的基础。

DataX，作为跨平台的高效数据ETL工具。

安装基础环境

a. 在三台服务器上分别安装jdk环境，例如将jdk安装在c:\java\jdk1.8下，并设置系统环境变量JAVA_HOME=c:\java\jdk1.8以及PATH=%PATH%;%JAVA_HOME%\bin

b. 在三台服务器上分别安装cygwin，并启动ssh服务和设置信任主机。

确保安装了ssh packages

安装完成后在系统服务中查看确保cygsshd服务已经启动并且作为系统服务可以自启动

在三台机器的cygwin的home目录下执行ssh-keygen，生成id_rsa.pub公钥文件、authorized_keys等文件。将两台客户机（Server B， Server C）的公钥内容copy到master主机 (Server A) 的authorized_keys文件中 (网上有很多相关文章，不再赘述)。

c. 在master server（Server A）上解压并安装Zookeeper, 启动Zookeeper服务。

d. 在master server（不限制在master server，只要网络能够连通即可）上安