海豚调度3.1.8集群部署

海豚调度（dolphinscheduler）部署文档

一、    项目打包

1.     从Github拉取源码到本地

项目地址：

https://github.com/apache/dolphinscheduler.git

重点模块介绍

l  dolphinscheduler-master master模块，提供工作流管理和编排服务。

l  dolphinscheduler-worker worker模块，提供任务执行管理服务。

l  dolphinscheduler-alert 告警模块，提供 AlertServer 服务。

l  dolphinscheduler-api web应用模块，提供 ApiServer 服务。

l  dolphinscheduler-common 通用的常量枚举、工具类、数据结构或者基类

l  dolphinscheduler-dao 提供数据库访问等操作。

l  dolphinscheduler-remote 基于 netty 的客户端、服务端

l  dolphinscheduler-service service模块，包含Quartz、Zookeeper、日志客户端访问服务，便于server模块和api模块调用

l  dolphinscheduler-ui 前端模块

l  dolphinscheduler-dist 存放license及打包后的二进制包

2.     使用maven进行打包

mvn clean package -Dspotless.check.skip=true -DskipTests=true -Prelease

参数解释：

-Dspotless.check.skip=true      跳过代码格式检查

-DskipTests=true                       跳过单元测试

-Prelease                                  指定profiles为release，可自动生成二进制包

-Pzk-3.4                                    可选，指定使用的zookeeper jar包版本

根据服务器zookeeper版本选择zk-3.4或zk-3.8进行打包，默认为zk-3.8

打包完成后会在dolphinscheduler-dist 模块的target目录下生成二进制包

apache-dolphinscheduler-3.1.8-bin.tar.gz

 

二、    项目部署

前置准备工作

l  JDK：下载JDK (1.8+)，安装并配置 JAVA_HOME 环境变量，并将其下的 bin 目录追加到 PATH 环境变量中。

l  二进制包：打包好的二进制包

l  数据库：PostgreSQL (8.2.15+) 或者 MySQL (5.7+)，两者任选其一即可，此项目选择MySQL

l  注册中心：ZooKeeper (3.4.6+)

 

1.     上传并解压

将二进制包上传到部署服务器并解压，解压后的目录为

2.     配置用户及免密

# 创建dolphinscheduler用户

useradd dolphinscheduler

# 添加密码

echo "dolphinscheduler" | passwd --stdin dolphinscheduler

# 配置 sudo 免密

sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers

# 修改目录权限，使得部署用户对二进制包解压后的 apache-dolphinscheduler-*-bin 目录有操作权限

chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-3.1.8-bin

由于安装的时候需要向不同机器发送资源，所以要求各台机器间能实现SSH免密登陆。配置免密登陆的步骤如下

su dolphinscheduler
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

在安装海豚调度的主机上执行下面指令，实现集群间免密

ssh-copy-id -i ~/.ssh/id_rsa.pub dolphinscheduler@主机

3.     初始化数据库

创建数据库：

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

到安装目录下执行shell脚本初始化数据库：

bash tools/bin/upgrade-schema.sh

4.     配置文件修改

修改 /bin/env/dolphinscheduler_env.sh 文件

根据实际情况配置JAVA_HOME等环境变量，配置上一步创建的数据库连接信息

修改 /bin/env/install_env.sh 文件

配置各服务运行的服务器节点及服务的安装目录

ips配置了海豚调度服务使用到的所有服务器集群

master、alert、api服务部署在node1

worker服务分别部署在master、node1和node2

安装目录~/dolphinscheduler，~表示当前用户目录，如当前用户为dolphinscheduler，则目录为/home/ dolphinscheduler/ dolphinscheduler

三、    启动海豚调度

上述配置完成并启动zookeeper后，在海豚调度安装目录下用dolphinscheduler用户执行

bash ./bin/install.sh

该命令将根据 /bin/env/install_env.sh 配置的节点自动安装各服务并启动，启动后可使用jps命令查看启动的进程

四、    登录海豚调度

浏览器访问地址http://localhost:12345/dolphinscheduler/ui 即可登录系统UI。

默认的用户名和密码是admin / dolphinscheduler123

五、    启停服务

# 一键停止集群所有服务
bash ./bin/stop-all.sh

# 一键开启集群所有服务
bash ./bin/start-all.sh

# 一键查询所有服务状态
bash ./bin/status-all.sh

# 启停 Master
bash ./bin/dolphinscheduler-daemon.sh stop master-server
bash ./bin/dolphinscheduler-daemon.sh start master-server


# 启停 Worker
bash ./bin/dolphinscheduler-daemon.sh start worker-server
bash ./bin/dolphinscheduler-daemon.sh stop worker-server

# 启停 Api
bash ./bin/dolphinscheduler-daemon.sh start api-server
bash ./bin/dolphinscheduler-daemon.sh stop api-server

# 启停 Alert
bash ./bin/dolphinscheduler-daemon.sh start alert-server
bash ./bin/dolphinscheduler-daemon.sh stop alert-server