centos 7安装DolphinScheduler集群

miner155

已于 2022-01-28 09:32:50 修改

阅读量1.4k

点赞数

文章标签： centos postgresql mysql 数据仓库 java

于 2022-01-26 19:30:51 首次发布

本文链接：https://blog.csdn.net/m0_46433635/article/details/122707207

版权

1 安装版本

DolphinScheduler版本：2.0.3，2022年1月20日发布。

2 安装步骤

2.1 安装前软件准备

操作系统：linux centos 7

JDK：下载JDK (1.8+)，并将 JAVA_HOME 配置到以及 PATH 变量中。如果你的环境中已存在，可以跳过这步。

二进制包：在下载页面.下载 DolphinScheduler 二进制包

数据库：PostgreSQL (8.2.15+) 或者 MySQL (5.7+)，两者任选其一即可，如 MySQL 则需要 JDBC Driver 8.0.16.，建议安装mysql8下载地址.

注册中心：ZooKeeper (3.4.6+)，下载地址 link.

2.2 准备操作系统环境

2.2.1 配置用户免密及权限

创建部署用户，并且一定要配置 sudo 免密。以创建 dolphinscheduler 用户为例

# 创建用户需使用 root 登录
useradd dolphinscheduler

# 添加密码
echo "dolphinscheduler" | passwd --stdin dolphinscheduler

# 配置 sudo 免密
sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers

# 修改目录权限，使得部署用户对二进制包解压后的 apache-dolphinscheduler-*-bin 目录有操作权限
chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin

2.2.2 配置机器SSH免密登陆

由于安装的时候需要向不同机器发送资源，所以要求各台机器间能实现SSH免密登陆。配置免密登陆的步骤如下

生成公私钥
ssh-keygen

拷贝到其他节点
ssh-copy-id -i ~/.ssh/id_rsa.pub dolphionscheduler@poc-03
ssh-copy-id -i ~/.ssh/id_rsa.pub dolphionscheduler@poc-04

客户端通过ssh连接远程服务器，就可以免密登录了。
ssh dolphionscheduler@poc-03

2.3 安装Mysql

以在centos 7 安装mysql 8 rpm包为例

 mkdir mysql
 
 #解压
 tar -vxf mysql-8.0.28-1.el7.x86_64.rpm-bundle.tar
 
 
 # 安装rpm包
 rpm -ivh mysql-community-common-8.0.28-1.el7.x86_64.rpm
 rpm -ivh mysql-community-libs-8.0.28-1.el7.x86_64.rpm
 rpm -ivh mysql-community-client-plugins-8.0.28-1.el7.x86_64.rpm
 rpm -ivh mysql-community-libs-8.0.28-1.el7.x86_64.rpm
 rpm -ivh mysql-community-client-8.0.28-1.el7.x86_64.rpm
 rpm -ivh mysql-community-server-8.0.28-1.el7.x86_64.rpm
 rpm -ivh mysql-community-icu-data-files-8.0.28-1.el7.x86_64.rpm
 rpm -ivh mysql-community-server-8.0.28-1.el7.x86_64.rpm
 
 rpm -qa | grep mysql
 
 # 初始化mysql
 mysqld --initialize
 mysqld --initialize
 cd /var/lib/mysql
 chown mysql:mysql /var/lib/mysql -R

 # 启动mysql
 systemctl start mysqld

 # 查看密码
 cat /var/log/mysqld.log | grep password

2.4 安装Zookeeper（略）

2.5 修改相关配置

完成了基础环境的准备后，在运行部署命令前，还需要根据环境修改配置文件。配置文件在路径在conf/config/install_config.conf下，一般部署只需要修改INSTALL MACHINE、DolphinScheduler ENV、Database、Registry Server部分即可完成部署，下面对必须修改参数进行说明

# ---------------------------------------------------------
# INSTALL MACHINE
# ---------------------------------------------------------
#ips="192.168.8.1,192.168.8.2,192.168.8.3,192.168.8.4,192.168.8.5"
ips="poc-02,poc-03,poc-04"
masters="poc-02"
workers="poc-03:default,poc-04:default"
alertServer="poc-03"
apiServers="poc-02"
pythonGatewayServers="poc-04"
installPath="/home/dolphinscheduler/dolphinscheduler"
deployUser="dolphinscheduler"


# ---------------------------------------------------------
# DolphinScheduler ENV
# ---------------------------------------------------------
SPRING_DATASOURCE_URL=jdbc:mysql://10.39.52.53:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8

# ---------------------------------------------------------
# Database
# ---------------------------------------------------------
# 如果你不是以 dolphinscheduler/dolphinscheduler 作为用户名和密码的，需要进行修改
SPRING_DATASOURCE_USERNAME="dolphinscheduler"
SPRING_DATASOURCE_PASSWORD="dolphinscheduler"


# ---------------------------------------------------------
# Registry Server
# ---------------------------------------------------------
# 注册中心地址，zookeeper服务的地址
registryServers="localhost:2181"

2.6 初始化数据库

DolphinScheduler 元数据存储在关系型数据库中，目前支持 PostgreSQL 和 MySQL，如果使用 MySQL 则需要手动下载 mysql-connector-java 驱动 (8.0.16) 并移动到 DolphinScheduler 的 lib目录下。下面以 MySQL 为例，说明如何初始化数据库

mysql -uroot -p

mysql> CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler'

mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

mysql> grant all privileges on dolphinscheduler.* to 'dolphinscheduler'@'%' ;

mysql> flush privileges;

完成上述步骤后，您已经为 DolphinScheduler 创建一个新数据库，现在你可以通过快速的 Shell 脚本来初始化数据库

sh script/create-dolphinscheduler.sh

2.7 启动 DolphinScheduler

使用上面创建的部署用户运行以下命令完成部署，部署后的运行日志将存放在 logs 文件夹内

sh install.sh

注意: 第一次部署的话，可能出现 5 次sh: bin/dolphinscheduler-daemon.sh: No such file or directory相关信息，次为非重要信息直接忽略即可

2.8 登录 DolphinScheduler

浏览器访问地址 http://localhost:12345/dolphinscheduler 即可登录系统UI。默认的用户名和密码是 admin/dolphinscheduler123

2.9 启停服务

# 一键停止集群所有服务
sh ./bin/stop-all.sh

# 一键开启集群所有服务
sh ./bin/start-all.sh

# 启停 Master
sh ./bin/dolphinscheduler-daemon.sh stop master-server
sh ./bin/dolphinscheduler-daemon.sh start master-server

# 启停 Worker
sh ./bin/dolphinscheduler-daemon.sh start worker-server
sh ./bin/dolphinscheduler-daemon.sh stop worker-server

# 启停 Api
sh ./bin/dolphinscheduler-daemon.sh start api-server
sh ./bin/dolphinscheduler-daemon.sh stop api-server

# 启停 Logger
sh ./bin/dolphinscheduler-daemon.sh start logger-server
sh ./bin/dolphinscheduler-daemon.sh stop logger-server

# 启停 Alert
sh ./bin/dolphinscheduler-daemon.sh start alert-server
sh ./bin/dolphinscheduler-daemon.sh stop alert-server

# 启停 Python Gateway
sh ./bin/dolphinscheduler-daemon.sh start python-gateway-server
sh ./bin/dolphinscheduler-daemon.sh stop python-gateway-server