DolphinScheduler3.1.5安装部署

1.下载

DolphinScheduler下载地址:https://dolphinscheduler.apache.org/zh-cn/download/3.1.5

选择二进制包 下载,点击 jar 名称 就行

2.环境

CentOS Linux release 7.5.1804 (Core)
java version "1.8.0_212"
mysql version 5.7.16-log
zookeeper version 3.5.7

3.解压安装

JDK、MySQL、Zookeeper 等环境 在这就不描述了

1.上传 DolphinScheduler 安装包 到 服务器(虚拟机)下的 /opt/software 目录(没有自己建)

2.解压安装包到 /opt/module (没有自己建)

 tar -zxvf /opt/software/apache-dolphinscheduler-3.1.5-bin.tar.gz -C /opt/module/

4.创建元数据库

#创建 数据库
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

5.修改配置

根据自己的机器配置

修改 DolphinScheduler解压目录下面的  bin/env/install_env.sh 文件

ips="192.168.233.131"
sshPort="22"
masters="192.168.233.131"
workers="192.168.233.131:default"
alertServer="192.168.233.131"
apiServers="192.168.233.131"
installPath="/opt/module/apache-dolphinscheduler-3.1.5-bin"
deployUser="root"
zkRoot="/dolphinscheduler"

修改 DolphinScheduler解压目录下面的  bin/env/dolphinscheduler_env.sh 文件

配置好这些 就可以了,如需要真正使用的话,需要把 文件最下面的 环境变量给配置上,如HADOOP_HOME,FLINK_HOME,CHUNJUN_HOME,DATAX_HOME,PYTHON_HOME,SPARK_HOME等等

# JAVA_HOME, will use it to start DolphinScheduler server
export JAVA_HOME=/opt/module/jdk

# Database related configuration, set database type, username and password
export DATABASE="mysql"
export SPRING_PROFILES_ACTIVE=${DATABASE}
export SPRING_DATASOURCE_URL="jdbc:mysql://192.168.233.130:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8"
export SPRING_DATASOURCE_USERNAME="root"
export SPRING_DATASOURCE_PASSWORD="000000"

# DolphinScheduler server related configuration
export SPRING_CACHE_TYPE="none"
export SPRING_JACKSON_TIME_ZONE="Asia/Shanghai"
export MASTER_FETCH_COMMAND_NUM="10"

# Registry center configuration, determines the type and link of the registry center
export REGISTRY_TYPE="zookeeper"
export REGISTRY_ZOOKEEPER_CONNECT_STRING="192.168.233.131:2181"

6.下载mysql驱动包并初始化元数据库

mysql 驱动包 自行百度 下载 

或 阿里云盘 下载 阿里云盘分享

提取码:80cy

将 mysql 驱动 包 复制到  DolphinScheduler解压目录下面的目录中(5个目录都需要复制)

api-server/libs

alert-server/libs

master-server/libs

worker-server/libs

tools/libs

复制完之后,在DolphinScheduler解压目录下面 执行 shell 脚本,来初始化元数据库:

sh tools/bin/upgrade-schema.sh

搞定!启动

7.启动DolphinScheduler

bin/install.sh

查看 web ui (自己的ip):http://192.168.233.131:12345/dolphinscheduler/ui

 能看到 页面 就是安装 成功了!

8.启动、停止服务命令

# 一键停止集群所有服务
bin/stop-all.sh
# 一键开启集群所有服务
bin/start-all.sh
# 启停 Master
bin/dolphinscheduler-daemon.sh stop master-server
bin/dolphinscheduler-daemon.sh start master-server
# 启停 Worker
bin/dolphinscheduler-daemon.sh start worker-server
bin/dolphinscheduler-daemon.sh stop worker-server
# 启停 Api
bin/dolphinscheduler-daemon.sh start api-server
bin/dolphinscheduler-daemon.sh stop api-server
# 启停 Alert
bin/dolphinscheduler-daemon.sh start alert-server
bin/dolphinscheduler-daemon.sh stop alert-server

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
HDP 3.1.5是Hortonworks Data Platform(Hortonworks数据平台)的一个版本,Ubuntu是一个流行的开源操作系统,而Ambari 2.7.5是一个用于管理Hadoop集群的开源工具。 HDP 3.1.5是Hortonworks为大数据分析和处理提供的软件套件。它包括了一系列的开源组件,如Hadoop、Hive、HBase、Spark和Kafka等,可以用于存储和分析大规模数据。HDP 3.1.5版本带来了许多新功能和改进,提高了数据处理性能、安全性和可靠性。 Ubuntu是一个流行的开源操作系统,特点是易用性和稳定性。它支持HDP 3.1.5,并提供了包管理工具,方便用户安装和管理HDP的软件包。 Ambari 2.7.5是一个开源的集群管理工具,用于配置、监控和管理Hadoop集群。它提供了一个直观的Web界面,方便用户进行集群的配置和管理。Ambari 2.7.5版本为用户带来了更加稳定和高效的集群管理功能,并修复了一些bug。 结合使用HDP 3.1.5、Ubuntu和Ambari 2.7.5,用户可以方便地部署、配置和管理Hadoop集群。通过Ambari的直观界面,用户可以轻松监控集群的状态,并进行必要的配置和调整。Ubuntu作为操作系统,为HDP和Ambari提供了高度稳定和可靠的平台,确保集群正常运行。 总而言之,HDP 3.1.5提供了丰富的大数据处理工具,Ubuntu作为操作系统提供了稳定的平台,而Ambari 2.7.5则提供了集群管理的功能,使用户能够更方便地部署、配置和管理Hadoop集群。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

只爱大锅饭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值