前言
以下步骤只需在一台节点上执行,一键部署后,会将程序分发到集群中,是不是很贴心
1. 解压
将下载的安装包拷贝到Linux内
mkdir -p /opt/dolphinscheduler \
&& tar -zxvf /root/dolphinscheduler-1.3.8-bin.tar.gz -C /opt/dolphinscheduler \
&& cd /opt/dolphinscheduler \
&& mv apache-dolphinscheduler-1.3.8-bin dolphinscheduler-bin
2. 创建部署用户,修改目录权限
useradd dolphinscheduler \
&& echo "dolphinscheduler123" | passwd --stdin dolphinscheduler \
&& echo 'dolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers \
&& sed -i 's/Defaults requirett/#Defaults requirett/g' /etc/sudoers \
&& chown -R dolphinscheduler:dolphinscheduler dolphinscheduler-bin
结果:
Changing password for user dolphinscheduler.
passwd: all authentication tokens updated successfully.
3. 初始化数据库
使用的mysql数据库,将mysql-connect-java驱动包拷贝到lib下。
# 拷贝到mysql驱动
cp /usr/share/java/mysql-connector-java.jar /opt/dolphinscheduler/dolphinscheduler-bin/lib/
# 进入mysql -uroot -p123456
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
set global validate_password_policy=LOW;
set global validate_password_length=6;
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'ds'@'%' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'ds'@'localhost' IDENTIFIED BY '123456';
flush privileges;
4. 配置数据源
使得第五步,可以连接数据库,创建DS运行需要的数据表
vim /opt/dolphinscheduler/dolphinscheduler-bin/conf/datasource.properties
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://server001:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8
spring.datasource.username=root
spring.datasource.password=123456
5. 创建表并导入基础数据脚本
sh /opt/dolphinscheduler/dolphinscheduler-bin/script/create-dolphinscheduler.sh
6. 添加运行参数
提前安装好Hadoop,JDK,Zookeeper。必须安装
Flink,Spark,DataX等组件,如果有相关任务在自行安装
# 添加环境变量
vim /opt/dolphinscheduler/dolphinscheduler-bin/conf/env/dolphinscheduler_env.sh
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export HADOOP_CONF_DIR=/etc/hadoop/conf
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
export FLINK_HOME=/opt/cloudera/parcels/FLINK/lib/flink
export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$PATH
7. 修改一键部署配置文件
DS根据此配置,将程序一键部署安装到指定的节点,并启动相应的进程
当然这些节点也已经安装了Zookeeper,不然怎么管理master和worker服务
vim /opt/dolphinscheduler/dolphinscheduler-bin/conf/config/install_config.conf
# 这里填 mysql or postgresql
dbtype="mysql"
# 数据库连接地址
dbhost="server001:3306"
# 数据库名
dbname="dolphinscheduler"
# 数据库用户名,此处需要修改为上面设置的 {user} 具体值
username="root"
# 数据库密码,如果有特殊字符,请使用 \ 转义,需要修改为上面设置的 {password} 具体值
password="123456"
# Zookeeper 地址
zkQuorum="server001:2181,server002:2181,server003:2181"
# 将 DS 安装到哪个目录,如: /opt/soft/dolphinscheduler,不同于现在的目录
installPath="/opt/soft/dolphinscheduler"
# 使用哪个用户部署,使用第 3 节创建的用户
deployUser="dolphinscheduler"
# 邮件配置,以 qq 邮箱为例 # 邮件协议
# mailProtocol="SMTP"
# 邮件服务地址
# mailServerHost="smtp.qq.com"
# 邮件服务端口
# mailServerPort="25"
# mailSender和 mailUser 配置成一样即可
# 发送者
# mailSender="xxx@qq.com"
# 发送用户
# mailUser="xxx@qq.com"
# 邮箱密码
# mailPassword="xxx"
# TLS 协议的邮箱设置为 true,否则设置为 false
# starttlsEnable="true"
# 开启 SSL 协议的邮箱配置为 true,否则为 false。注意: starttlsEnable 和 sslEnable 不能同时为 true
# sslEnable="false"
# 邮件服务地址值,参考上面 mailServerHost
# sslTrust="smtp.qq.com"
# 业务用到的比如 sql 等资源文件上传到哪里,可以设置:HDFS,S3,NONE,单机如果想使用本地文件系统,请配置为 HDFS,因为 HDFS 支持本地文件系统;如果不需要资源上传功能请选择 NONE。强调一点:使用本地文件系统不需要部署 hadoop
resourceStorageType="HDFS"
# 如果上传资源保存想保存在 hadoop 上,hadoop 集群的 NameNode 启用了 HA 的话,需要将 hadoop 的配置文件 core-site.xml 和 hdfs-site.xml 放到安装路径的 conf 目录下,本例即是放到 /opt/soft/dolphinscheduler/conf 下面,并配置 namenode cluster 名称;如果 NameNode 不是 HA,则只需要将 mycluster 修改为具体的 ip 或者主机名即可
defaultFS="hdfs://server001:8020"
# 如果没有使用到 Yarn,保持以下默认值即可;如果 ResourceManager 是 HA,则配置为 ResourceManager 节点的主备 ip 或者 hostname,比如 "192.168.xx.xx,192.168.xx.xx";如果是单 ResourceManager 请配置 yarnHaIps="" 即可 yarnHaIps=""
# 如果 ResourceManager 是 HA 或者没有使用到 Yarn 保持默认值即可;如果是单 ResourceManager,请配置真实的 ResourceManager 主机名或者 ip
singleYarnIp="server001"
# 资源上传根路径,主持 HDFS 和 S3,由于 hdfs支持本地文件系统,需要确保本地文件夹存在且有读写权限
resourceUploadPath="/data/dolphinscheduler"
# 具备权限创建 resourceUploadPath的用户
hdfsRootUser="hdfs"
# kerberos config
# whether kerberos starts, if kerberos starts, following four items need to config, otherwise please ignore
# kerberosStartUp="false"
# kdc krb5 config file path
# krb5ConfPath="$installPath/conf/krb5.conf"
# keytab username
# keytabUserName="hdfs-mycluster@ESZ.COM"
# username keytab path
# keytabPath="$installPath/conf/hdfs.headless.keytab"
# kerberos expire time, the unit is hour
# kerberosExpireTime="2"
# api server port
apiServerPort="12345"
# 在哪些机器上部署 DS 服务,本机选 localhost
ips="server001,server002,server003"
# ssh 端口,默认22
sshPort="22"
# master 服务部署在哪台机器上
masters="server001,server002"
# worker 服务部署在哪台机器上,并指定此 worker 属于哪一个 worker 组,下面示例的 default 即为组名
workers="server001:default,server002:default,server003:default"
# 报警服务部署在哪台机器上
alertServer="server003"
# 后端 api 服务部署在在哪台机器上
apiServers="server003"
8. 一键部署
一键部署完事
sh /opt/dolphinscheduler/dolphinscheduler-bin/install.sh
启动成功后,会出现一下5个服务
MasterServer ----- master服务
WorkerServer ----- worker服务
LoggerServer ----- logger服务
ApiApplicationServer ----- api服务
AlertServer ----- alert服务
9. 登录
http://server003:12345/dolphinscheduler
初始账号密码:
admin / dolphinscheduler123