Linux安装DolphinScheduler集群

附上windows安装DolphinScheduler 

前言

自行下载DS二进制安装包

以下步骤只需在一台节点上执行，一键部署后，会将程序分发到集群中，是不是很贴心

1. 解压

将下载的安装包拷贝到Linux内

mkdir -p /opt/dolphinscheduler \ 
&& tar -zxvf /root/dolphinscheduler-1.3.8-bin.tar.gz -C /opt/dolphinscheduler \ 
&& cd /opt/dolphinscheduler \ 
&& mv apache-dolphinscheduler-1.3.8-bin dolphinscheduler-bin

2. 创建部署用户,修改目录权限

useradd dolphinscheduler \ 
&& echo "dolphinscheduler123" | passwd --stdin dolphinscheduler \ 
&& echo 'dolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers \ 
&& sed -i 's/Defaults requirett/#Defaults requirett/g' /etc/sudoers \ 
&& chown -R dolphinscheduler:dolphinscheduler dolphinscheduler-bin 

结果： 
Changing password for user dolphinscheduler. 
passwd: all authentication tokens updated successfully.

3. 初始化数据库

使用的mysql数据库，将mysql-connect-java驱动包拷贝到lib下。

# 拷贝到mysql驱动 
cp /usr/share/java/mysql-connector-java.jar /opt/dolphinscheduler/dolphinscheduler-bin/lib/ 

# 进入mysql -uroot -p123456 
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; 
set global validate_password_policy=LOW; 
set global validate_password_length=6; 
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'ds'@'%' IDENTIFIED BY '123456'; 
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'ds'@'localhost' IDENTIFIED BY '123456';
flush privileges;

4. 配置数据源

使得第五步，可以连接数据库，创建DS运行需要的数据表

vim /opt/dolphinscheduler/dolphinscheduler-bin/conf/datasource.properties 

spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://server001:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8 
spring.datasource.username=root 
spring.datasource.password=123456

5. 创建表并导入基础数据脚本

sh /opt/dolphinscheduler/dolphinscheduler-bin/script/create-dolphinscheduler.sh

6. 添加运行参数

提前安装好Hadoop，JDK，Zookeeper。必须安装

Flink，Spark，DataX等组件，如果有相关任务在自行安装

# 添加环境变量
vim /opt/dolphinscheduler/dolphinscheduler-bin/conf/env/dolphinscheduler_env.sh 

export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop 
export HADOOP_CONF_DIR=/etc/hadoop/conf 
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera 
export FLINK_HOME=/opt/cloudera/parcels/FLINK/lib/flink 
export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$PATH

7. 修改一键部署配置文件

DS根据此配置，将程序一键部署安装到指定的节点，并启动相应的进程

当然这些节点也已经安装了Zookeeper，不然怎么管理master和worker服务

vim /opt/dolphinscheduler/dolphinscheduler-bin/conf/config/install_config.conf 

# 这里填 mysql or postgresql 
dbtype="mysql" 
# 数据库连接地址 
dbhost="server001:3306" 
# 数据库名 
dbname="dolphinscheduler" 
# 数据库用户名，此处需要修改为上面设置的 {user} 具体值 
username="root" 
# 数据库密码，如果有特殊字符，请使用 \ 转义，需要修改为上面设置的 {password} 具体值 
password="123456" 

# Zookeeper 地址 
zkQuorum="server001:2181,server002:2181,server003:2181" 

# 将 DS 安装到哪个目录，如: /opt/soft/dolphinscheduler，不同于现在的目录 
installPath="/opt/soft/dolphinscheduler" 

# 使用哪个用户部署，使用第 3 节创建的用户 
deployUser="dolphinscheduler" 

# 邮件配置，以 qq 邮箱为例 # 邮件协议 
# mailProtocol="SMTP" 
# 邮件服务地址 
# mailServerHost="smtp.qq.com" 
# 邮件服务端口 
# mailServerPort="25" 
# mailSender和 mailUser 配置成一样即可 
# 发送者 
# mailSender="xxx@qq.com" 
# 发送用户 
# mailUser="xxx@qq.com" 
# 邮箱密码 
# mailPassword="xxx" 
# TLS 协议的邮箱设置为 true，否则设置为 false 
# starttlsEnable="true" 
# 开启 SSL 协议的邮箱配置为 true，否则为 false。注意: starttlsEnable 和 sslEnable 不能同时为 true 
# sslEnable="false" 
# 邮件服务地址值，参考上面 mailServerHost 
# sslTrust="smtp.qq.com" 

# 业务用到的比如 sql 等资源文件上传到哪里，可以设置：HDFS,S3,NONE，单机如果想使用本地文件系统，请配置为 HDFS，因为 HDFS 支持本地文件系统；如果不需要资源上传功能请选择 NONE。强调一点：使用本地文件系统不需要部署 hadoop 
resourceStorageType="HDFS" 

# 如果上传资源保存想保存在 hadoop 上，hadoop 集群的 NameNode 启用了 HA 的话，需要将 hadoop 的配置文件 core-site.xml 和 hdfs-site.xml 放到安装路径的 conf 目录下，本例即是放到 /opt/soft/dolphinscheduler/conf 下面，并配置 namenode cluster 名称；如果 NameNode 不是 HA，则只需要将 mycluster 修改为具体的 ip 或者主机名即可 
defaultFS="hdfs://server001:8020" 

# 如果没有使用到 Yarn，保持以下默认值即可;如果 ResourceManager 是 HA，则配置为 ResourceManager 节点的主备 ip 或者 hostname，比如 "192.168.xx.xx,192.168.xx.xx";如果是单 ResourceManager 请配置 yarnHaIps="" 即可 yarnHaIps="" 
# 如果 ResourceManager 是 HA 或者没有使用到 Yarn 保持默认值即可；如果是单 ResourceManager，请配置真实的 ResourceManager 主机名或者 ip 
singleYarnIp="server001" 

# 资源上传根路径，主持 HDFS 和 S3，由于 hdfs支持本地文件系统，需要确保本地文件夹存在且有读写权限 
resourceUploadPath="/data/dolphinscheduler" 

# 具备权限创建 resourceUploadPath的用户 
hdfsRootUser="hdfs" 

# kerberos config 
# whether kerberos starts, if kerberos starts, following four items need to config, otherwise please ignore 
# kerberosStartUp="false" 
# kdc krb5 config file path 
# krb5ConfPath="$installPath/conf/krb5.conf" 
# keytab username 
# keytabUserName="hdfs-mycluster@ESZ.COM" 
# username keytab path 
# keytabPath="$installPath/conf/hdfs.headless.keytab" 
# kerberos expire time, the unit is hour 
# kerberosExpireTime="2" 

# api server port 
apiServerPort="12345" 

# 在哪些机器上部署 DS 服务，本机选 localhost 
ips="server001,server002,server003" 

# ssh 端口，默认22 
sshPort="22" 

# master 服务部署在哪台机器上 
masters="server001,server002" 

# worker 服务部署在哪台机器上，并指定此 worker 属于哪一个 worker 组，下面示例的 default 即为组名 
workers="server001:default,server002:default,server003:default" 

# 报警服务部署在哪台机器上
alertServer="server003" 

# 后端 api 服务部署在在哪台机器上 
apiServers="server003"

8. 一键部署

一键部署完事

sh /opt/dolphinscheduler/dolphinscheduler-bin/install.sh 

启动成功后，会出现一下5个服务 
MasterServer ----- master服务 
WorkerServer ----- worker服务 
LoggerServer ----- logger服务 
ApiApplicationServer ----- api服务 
AlertServer ----- alert服务

9. 登录

http://server003:12345/dolphinscheduler 

初始账号密码： 
admin / dolphinscheduler123