本次安装的是1.3.5版本,为生产环境三节点集群,具体可参考官方网站手册
一、前置要求
- MySQL 5.7 : MySQL则需要JDBC Driver 5.1.47+
- JDK1.8以上,配置好环境变量
- Zookeeper(3.4.6+)
- Hadoop(2.6+):选装,如果不用Hadoop可不安装
如上要求是根据官网配置要求,且我自己选用组件
二、下载并解压安装包
1、地址:
下载完,上传到服务器上
2、解压:
我的安装目录:/home/module,各位依具体情况修改
注意:官网上要求部署目录不要创建在/root、/home等高权限目录
tar -zxvf apache-dolphinscheduler-incubating-1.3.5-dolphinscheduler-bin.tar.gz -C /home/module/
#解压出来里面还有一个目录,apache-dolphinscheduler-incubating-1.3.5-dolphinscheduler-bin,这里面才是 bin文件夹之类
mv apache-dolphinscheduler-incubating-1.3.5-dolphinscheduler-bin dolphinscheduler-bin
三、环境要求
以下配置具体步骤可参考:
https://blog.csdn.net/qq_42672132/article/details/119910481
1、部署DolphinScheduler用户的要求
在所有部署调度的机器上创建部署用户,并且一定要配置sudo免密。
所有机器!!!
2、配置hosts映射
注意:依照官网要求,需要注释掉127.0.0.1这一行
vi /etc/hosts
#add ip hostname
192.168.xxx.xxx Master
192.168.xxx.xxx Worker01
192.168.xxx.xxx Worker02
然后同步/etc/hosts到所有节点
for ip in Worker01 Worker02; #请将此处Worker01 Worker02替换为自己要部署的机器的hostname
do
sudo scp -r /etc/hosts $ip:/etc/ #在运行中需要输入root密码
done
3、配置SSH免密登录
–——参考了尚硅谷的资料,推荐一下B站尚硅谷,所有学习视频、资料全部免费,业界良心。不过加学习交流群的话小心点,装老师的骗子挺多
(1)、生成公钥和私钥:
ssh-keygen -t rsa
然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
(2)、将公钥拷贝到要免密登录的目标机器上
ssh-copy-id Master
ssh-copy-id Worker01
ssh-copy-id Worker02
注意:
还需要在Master上采用root账号,配置一下无密登录到Master、Worker01、Worker02;
还需要在Worker01上采用lcq账号配置一下无密登录到Master、Worker01、Worker02
4、修改所属用户,所属组为部署者
sudo chown -R lcq:lcq dolphinscheduler-bin
四、初始化数据库
1、创建数据库并授权
我使用的是MySQL,如果是其他数据库,请参考官网(顶部链接)
mysql -h192.168.xx.xx -P3306 -uroot -p
进入数据库命令行窗口后,执行数据库初始化命令,设置访问账号和密码
注意:{user}、{password}修改为自己的用户名和密码
mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'%' IDENTIFIED BY '{password}';
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'localhost' IDENTIFIED BY '{password}';
mysql> flush privileges;
2、修改配置
-
创建表和导入基础数据
- 修改 conf 目录下 datasource.properties 中的下列配置
vim /home/module/dolphinscheduler-bin/conf/datasource.properties
- 如果选择 MySQL,请注释掉 PostgreSQL 相关配置(反之同理),
- 还需要手动添加 [ mysql-connector-java 驱动 jar ] 包到 lib 目录下,这里下载的是mysql-connector-java-5.1.47.jar,然后正确配置数据库连接相关信息
#postgre #spring.datasource.driver-class-name=org.postgresql.Driver #spring.datasource.url=jdbc:postgresql://localhost:5432/dolphinscheduler # mysql spring.datasource.driver-class-name=com.mysql.jdbc.Driver spring.datasource.url=jdbc:mysql://xxx:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true 需要修改ip spring.datasource.username=xxx 需要修改为上面的{user}值 spring.datasource.password=xxx 需要修改为上面的{password}值
- 修改并保存完后,执行 script 目录下的创建表及导入基础数据脚本
sh script/create-dolphinscheduler.sh
注意: 如果执行上述脚本报 ”/bin/java: No such file or directory“ 错误,请在/etc/profile下配置 JAVA_HOME 及 PATH 变量
五、修改运行参数
-
修改 conf/env 目录下的
dolphinscheduler_env.sh
环境变量(以相关用到的软件都安装在/home/module下为例)##JAVA_HOME export JAVA_HOME=/home/module/jdk1.8.0_212 export PATH=$PATH:$JAVA_HOME/bin ##HADOOP_HOME export HADOOP_HOME=/home/module/hadoop-3.1.3 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin #ZOOKEEPER_HOME export ZOOKEEPER_HOME=/home/module/zookeeper-3.5.7 export PATH=$PATH:$ZOOKEEPER_HOME/bin #HIVE_HOME export HIVE_HOME=/home/module/hive export PATH=$PATH:$HIVE_HOME/bin #SQOOP_HOME export SQOOP_HOME=/home/module/sqoop export PATH=$PATH:$SQOOP_HOME/bin #SPARK_HOME export SPARK_HOME=/home/module/spark export PATH=$PATH:$SPARK_HOME/bin export PATH=$PATH:$SPARK_HOME/sbin `注: 这一步非常重要,例如 JAVA_HOME 和 PATH 是必须要配置的,没有用到的可以忽略或者注释掉`
-
将jdk软链到/usr/bin/java下(仍以 JAVA_HOME=/home/module/java 为例)
sudo ln -s /home/module/jdk1.8.0_212/bin/java /usr/bin/java
-
修改一键部署配置文件
conf/config/install_config.conf
中的各参数,特别注意以下参数的配置 -
对着下面的修改,我的也是根据官网这个修改的
# 这里填 mysql or postgresql dbtype="mysql" # 数据库连接地址 dbhost="Master:3306" # 数据库名 dbname="dolphinscheduler" # 数据库用户名,此处需要修改为上面设置的{user}具体值 username="lcq" # 数据库密码, 如果有特殊字符,请使用\转义,需要修改为上面设置的{password}具体值 password="xxx" #Zookeeper地址 zkQuorum="Master:2181,Worker01:2181,Worker02:2181" #将DS安装到哪个目录,如: /home/module/dolphinscheduler,不同于现在的目录 installPath="/home/module/dolphinscheduler" #使用哪个用户部署,使用第3节创建的用户 deployUser="dolphinscheduler" # 邮件配置,以qq邮箱为例 # 邮件协议 mailProtocol="SMTP" # 邮件服务地址 mailServerHost="smtp.qq.com" # 邮件服务端口 mailServerPort="25" # mailSender和mailUser配置成一样即可 # 发送者 mailSender="xxx@qq.com" # 发送用户 mailUser="xxx@qq.com" # 邮箱密码 mailPassword="xxx" # TLS协议的邮箱设置为true,否则设置为false starttlsEnable="true" # 开启SSL协议的邮箱配置为true,否则为false。注意: starttlsEnable和sslEnable不能同时为true sslEnable="false" # 邮件服务地址值,参考上面 mailServerHost sslTrust="smtp.qq.com" # 业务用到的比如sql等资源文件上传到哪里,可以设置:HDFS,S3,NONE,单机如果想使用本地文件系统,请配置为HDFS,因为HDFS支持本地文件系统;如果不需要资源上传功能请选择NONE。强调一点:使用本地文件系统不需要部署hadoop resourceStorageType="HDFS" #如果上传资源保存想保存在hadoop上,hadoop集群的NameNode启用了HA的话,需要将hadoop的配置文件core-site.xml和hdfs-site.xml放到安装路径的conf目录下,本例即是放到/home/module/dolphinscheduler/conf下面,并配置namenode cluster名称;如果NameNode不是HA,则只需要将mycluster修改为具体的ip或者主机名即可 defaultFS="hdfs://mycluster:8020" # 如果没有使用到Yarn,保持以下默认值即可;如果ResourceManager是HA,则配置为ResourceManager节点的主备ip或者hostname,比如"192.168.xx.xx,192.168.xx.xx";如果是单ResourceManager请配置yarnHaIps=""即可 yarnHaIps="192.168.xx.xx,192.168.xx.xx" # 如果ResourceManager是HA或者没有使用到Yarn保持默认值即可;如果是单ResourceManager,请配置真实的ResourceManager主机名或者ip singleYarnIp="yarnIp1" # 资源上传根路径,主持HDFS和S3,由于hdfs支持本地文件系统,需要确保本地文件夹存在且有读写权限 resourceUploadPath="/data/dolphinscheduler" # 具备权限创建resourceUploadPath的用户 hdfsRootUser="hdfs" #在哪些机器上部署DS服务,本机选localhost ips="ds1,ds2,ds3,ds4" #ssh端口,默认22 sshPort="22" #master服务部署在哪台机器上 masters="ds1,ds2" # 亲测可以只部署一台,目前没有出现问题 #worker服务部署在哪台机器上,并指定此worker属于哪一个worker组,下面示例的default即为组名 workers="ds3:default,ds4:default" #报警服务部署在哪台机器上 alertServer="ds2" #后端api服务部署在在哪台机器上 apiServers="ds1"
特别注意:
- 如果需要用资源上传到Hadoop集群功能, 并且Hadoop集群的NameNode 配置了 HA的话 ,需要开启 HDFS类型的资源上传,同时需要将Hadoop集群下的core-site.xml和hdfs-site.xml复制到/home/module/dolphinscheduler/conf,非NameNode HA跳过次步骤
六、一键部署
-
切换到部署用户lcq,然后执行dolphinscheduler-bin/目录下的一键部署脚本
sh install.sh
注意: 第一次部署的话,在运行中第3步`3,stop server`出现5次以下信息,此信息可以忽略 sh: bin/dolphinscheduler-daemon.sh: No such file or directory
-
脚本完成后,会启动以下5个服务,使用
jps
命令查看服务是否启动(jps
为java JDK
自带)
MasterServer ----- master服务
WorkerServer ----- worker服务
LoggerServer ----- logger服务
ApiApplicationServer ----- api服务
AlertServer ----- alert服务
如果以上服务都正常启动,说明自动部署成功
部署成功后,可以进行日志查看,日志统一存放于logs文件夹内
logs/
├── dolphinscheduler-alert-server.log
├── dolphinscheduler-master-server.log
|—— dolphinscheduler-worker-server.log
|—— dolphinscheduler-api-server.log
|—— dolphinscheduler-logger-server.log
七、登录系统
- 访问前端页面地址,接口ip(自行修改) http://192.168.xx.xx:12345/dolphinscheduler
- 默认账户 admin 密码:dolphinscheduler123
八、我遇到的问题
遇到问题不要着急,先去看日志文件,不同服务的日志可能位于不同节点上,请注意检查。
分享一个博主的dolphinScheduler整理:https://blog.csdn.net/samz5906/article/details/106434430,
这里面有服务对应哪一个日志。
1、一键部署没有启动
我在部署的时候,几个服务第一次没有启动起来,然后我又一键部署了一次,服务项启动成功
注意:这个start-all.sh要使用你解压目录/bin里面的,不是配置文件中的安装目录
目前这两个有什么不同我还不清楚,如果有大佬知道,请留言告知。但是我使用安装目录中的start-all.sh,启动会失败。
2、几个服务都启动起来了,但是页面访问不了
我访问不了的原因是zookeeper没有启动起来,要注意你的zookeeper有没有成功启动。
也有可能是你的这个端口没有开放。