Ubuntu 安装 Dolphinscheduler海豚调度器 集群模式

已于 2023-05-11 12:05:16 修改
阅读量1.5k 收藏 27
点赞数 25
文章标签： ubuntu linux 大数据
于 2023-05-10 14:27:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/edgecity_tf/article/details/130597232
版权

由于现在使用的azkaban调度器配置依赖繁琐,且功能不足以支撑现有调度工作
经过市场调研,海豚调度器具有功能多,配置简单,可视化页面等优点

安装前提

JDK：下载JDK (1.8+)，并将 JAVA_HOME 配置到以及 PATH 变量中。如果你的环境中已存在，可以跳过这步

Zookeeper(3.4.6+) 已安装

MySQL (5.7+) ,并准备 mysql-connector-java-8.0.16.jar 驱动jar包

进程树分析:Fedora/Red/Hat/CentOS/Ubuntu/Debian安装psmisc
当前使用系统为Ubuntu18.04

创建安装用户组.用户 并配置互相免密 当前使用hadoop用户安装

安装步骤

安装前提都准备好后 接下来开始具体的安装步骤
安装海豚版本:3.1.5

集群配置

hostname角色
hadoop01master,worker,alertServer,apiServers
hadoop02master,worker
hadoop03worker
hadoop04worker
hadoop05worker
hadoop06worker

安装进程树分析

因服务器无外网,采用离线方式安装
下载网址:https://developer.aliyun.com/packageSearch?word=psmisc
在这里插入图片描述
安装包上传服务器安装
注:需上传至所有服务器节点并安装

sudo dpkg -i psmisc_23.1-1ubuntu0.1_amd64.deb

1.下载海豚安装包

https://dolphinscheduler.apache.org/zh-cn/download/3.1.5
下载二进制安装包
在这里插入图片描述
使用安装用户 ‘hadoop’ 解压

tar -zxvf apache-dolphinscheduler-3.1.5-bin.tar.gz

解压后目录
注:mysql驱动包提前准备好
在这里插入图片描述

2.具体配置修改

DS_HOME=你的安装目录

2.1 install.sh 配置(只展示修改项)
vim $DS_HOME/bin/env/install.sh
#所有节点
ips="hadoop01,hadoop02,hadoop03,hadoop04,hadoop05,hadoop06"
#集群ssh端口 默认为 22
sshPort="52119"
#master配置
masters="hadoop01,hadoop02"
#worker配置
workers="hadoop01:default,hadoop02:default,hadoop03:default,hadoop04:default,hadoop05:default,hadoop06:default"
#告警服务器
alertServer="hadoop01"
#api服务器
apiServers="hadoop01"
#安装目录,一键安装后其他服务器的安装目录,需配置一致
installPath=$DS_HOME
#安装用户,最好有sudo权限,设计创建用户权限问题
deployUser="hadoop"
#zookeeper注册路径 默认路径
zkRoot=${zkRoot:-"/dolphinscheduler"}
2.2 dolphinscheduler_env.sh
vim $DS_HOME/bin/env/dolphinscheduler_env.sh
#mysql配置
export DATABASE=${DATABASE:-mysql}
export SPRING_PROFILES_ACTIVE=${DATABASE}
export SPRING_DATASOURCE_URL="jdbc:mysql://172.0.0.1:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false"
export SPRING_DATASOURCE_USERNAME="user"
export SPRING_DATASOURCE_PASSWORD="password"
#zookeeper配置
export REGISTRY_TYPE=${REGISTRY_TYPE:-zookeeper}
export REGISTRY_ZOOKEEPER_CONNECT_STRING="hadoop04:2181,hadoop05:2181,hadoop06:2181"
#环境变量,也可在安装成功后在页面'环境管理'配置
export HADOOP_HOME=hadoop路径
export HADOOP_CONF_DIR=hadoop/etc/hadoop
#export SPARK_HOME1=${SPARK_HOME1:-/opt/soft/spark1}
export SPARK_HOME2=spark路径
#export PYTHON_HOME=${PYTHON_HOME:-/opt/soft/python}
export HIVE_HOME=hive路径
#export FLINK_HOME=${FLINK_HOME:-/opt/soft/flink}
#export DATAX_HOME=${DATAX_HOME:-/opt/soft/datax}
#export SEATUNNEL_HOME=${SEATUNNEL_HOME:-/opt/soft/seatunnel}
#export CHUNJUN_HOME=${CHUNJUN_HOME:-/opt/soft/chunjun}
export PATH=$HADOOP_HOME/bin:$SPARK_HOME2/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH
2.3 mysql驱动包

将mysql-connector-java-8.0.16.jar驱动包拷贝至以下路径

$DS_HOME/alert-server/libs
$DS_HOME/api-server/libs
$DS_HOME/master-server/libs
$DS_HOME/standalone-server/libs
$DS_HOME/worker-server/libs
$DS_HOME/tools/libs
2.4 资源文件上传hdfs配置 & yarn配置

$DS_HOME/alert-server/conf
$DS_HOME/api-server/conf
$DS_HOME/master-server/conf
$DS_HOME/worker-server/conf
$DS_HOME/tools/conf
在以上目录中一样的配置

#将hdfs相关文件拷贝
cp $HADOOP_HOME/etc/hadoop/core-site.xml ./
cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml ./
#修改common.properties 只展示修改项
#文件存储类型
resource.storage.type=HDFS
#hdfs用户
resource.hdfs.root.user=hadoop
#hdfs端口路径 hadoop-namenode
resource.hdfs.fs.defaultFS=hdfs://hadoop01:8020
#hadoop-yarn配置
#默认端口
resource.manager.httpaddress.port=8088
#如果为HA模式 列出ip地址
yarn.resourcemanager.ha.rm.ids=172.0.0.x,172.0.0.x
#如果开启HA 使用默认
yarn.application.status.address=http://ds1:%s/ws/v1/cluster/apps/%s
#yarn-his配置
yarn.job.history.status.address=http://bd-hadoop-01:19888/ws/v1/history/mapreduce/jobs/%s
2.5 mysql配置

创建dolphinscheduler数据库,并分配读写权限 (此文章不做介绍)
初始化元数据库

#在安装根目录下运行 切记
bash tools/bin/upgrade-schema.sh

在这里插入图片描述

2.6 上传hdfs大文件超时设置
#找到四个文件  找service开头 .js .js.gz 结尾的
cd $DS_HOME/api-server/ui/assets/service.*.js
cd $DS_HOME/api-server/ui/assets/service.*.js.gz
cd $DS_HOME/ui/assets/service.*.js
cd $DS_HOME/ui/assets/service.*.js.gz

直接 vim 编辑以上四个文件

#直接vim文件 修改超时时间
timeout:15e3  ->  timeout:15e5
2.7 一键安装
#安装根目录下运行 切记
bash bin/install.sh

如果出现ssh远程权限问题
因为我的安装用户不是root ,需要修改安装脚本,指定 ssh 秘钥文件
在这里插入图片描述
需修改以下文件

cd $DS_HOME/bin
grep -rn 'ssh' *
grep -rn 'scp' *

在这里插入图片描述
在这里插入图片描述
找到以上匹配的文件修改指定位置 我的用户是 hadoop 添加 -i [文件位置]
scp -i ~/.ssh/hadoop
ssh -i ~/.ssh/hadoop
图例
在这里插入图片描述
修改完成后执行安装脚本

#安装根目录下运行 切记
bash bin/install.sh

安装成功后可看到各个角色运行状态
在这里插入图片描述

web页面 http://172.0.0.1:12345/dolphinscheduler/ui/login
账号(默认) admin dolphinscheduler123
在这里插入图片描述
至此 小海豚安装结束
本文章只用于安装记录,不喜勿喷!!!
后续介绍小海豚页面使用流程

EdgeCity_TF
关注
  • 25
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
DolphinScheduler1.3.0安装包.rar
06-19
DolphinScheduler1.3.0安装包.rar
SDN之ubuntu下OpenDaylight控制器安装部署
01-09
Ps：本文是在学习过程中整理的学习笔记 系统版本 ubuntu18.04 1.安装opendaylight之前需要先配置java环境 如已安装忽略此步 apt-get install openjdk-8-jdk 设置java环境变量 vim /etc/environment 文件尾行添加： JAVA_HOME=”/usr/lib/jvm/java-8-openjdk-amd64″ 如图 重启系统加载变量 验证是否安装完成 java -version 下载OpenDaylight 官网地址：https://www.opendaylight.org/downloads
海豚调度系列之：认识海豚调度
最新发布
zhengzaifeidelushang的博客
03-13 1235
简单易用：丰富的使用场景：High Reliability：High Scalability：DolphinScheduler 作为一款开源分布式工作流任务调度系统，可以很好地部署和运行在 Intel 架构服务器及主流虚拟化环境下，并支持主流的Linux操作系统环境Linux 操作系统版本要求 服务器建议配置DolphinScheduler 支持运行在 Intel x86-64 架构的 64 位通用硬件服务器平台。对生产环境的服务器硬件配置有以下建议：生产环境 网络要求DolphinScheduler正常
psmisc-22.20-17.el7.x86_64.rpm
12-19
官方离线安装包，亲测可用。使用rpm -ivh [rpm完整包名] 进行安装
ubuntu安装python3.9 ubuntu安装python3.9
11-18
ubuntu安装python3.9 ubuntu安装python3.9 ubuntu安装python3.9 ubuntu安装python3.9 ubuntu安装python3.9 ubuntu安装python3.9 ubuntu安装python3.9 ubuntu安装python3.9 ubuntu安装python3.9
Ubuntu下安装Go语言开发环境及编辑器的相关配置
09-21
主要介绍了Ubuntu下安装Go语言开发环境及编辑器的相关配置,编辑器方面介绍了包括Vim和Eclipse,需要的朋友可以参考下
深入了解海豚调度DolphinScheduler
热门推荐
zhengzaifeidelushang的博客
11-14 5万+
深入了解海豚调度DolphinScheduler
Apache DolphinScheduler——开源大数据调度器神器（国人之光）
男神的专栏
05-31 7241
本文已参与「新人创作礼」活动，一起开启掘金创作之路。
Apache DolphinScheduler（海豚调度系统）介绍与环境部署
匠人精神，持之以恒！
06-18 4963
Apache DolphinScheduler（简称DolphinScheduler）是一种开源的、分布式的、易于使用的大数据工作流调度系统。它旨在为大数据处理提供一个可靠、高效和可扩展的调度解决方案。
DolphinScheduler V3.1.8 海豚调度器【概述、安装、功能介绍、项目运用、邮箱预警设置】轻松拿捏！
JIE的博客 --- moon_coder
11-17 7478
Apache DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。解决数据研发 ETL 依赖错综复杂，无法监控任务健康状态的问题。
集群搭建系列（十七）dolphinscheduler 小海豚调度
rocky_24的博客
06-17 4111
国产牛逼系列 dolphinscheduler 文章目录国产牛逼系列 dolphinscheduler1 调度工具对比话不多说 直接开干安装包部分 TODO基础搭建解压缩，重命名mysql 依赖 ip 改一下，注释源 postgresql运行 MySQL 初始化脚本运行环境修改一键部署配置文件 conf/config/install_config.conf启动一键部署登录系统 1 调度工具对比 以往使用 azkaban 虽然并发够，但是面临运维问题也很大。 1 大半夜 调度任务挂了，酸爽了，半夜调
Ubuntu16.04下Zookeeper集群模式的本地安装与配置
01-07
Ubuntu16.04下Zookeeper集群模式的本地安装与配置 1.安装环境： os : Ubuntu 16.04 LTS 64bit jdk : 1.8.0_161 zookeeper:apache-zookeeper-3.5.6 zookeeper有单机、伪集群、集群三种部署方式。 单机：一个服务器 伪集群:在一个服务器部署多个zookeeper 集群：多个服务器，一个服务器上部署一个zookeeper　　 本文章以3台服务器为例，3台服务器的hostname分别为hadoop102,hadoop103,hadoop104 2.安装步骤 2.1 集群规划 组件名称 服务器1 服务
dolphinscheduler安装包和mysql的jdbc连接jar包
03-20
dolphinscheduler安装包和mysql的jdbc连接jar包
详解搭建ubuntu版hadoop集群
09-15
本篇文章主要介绍了详解搭建ubuntu版hadoop集群，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
ubuntu20.04安装QT.pdf
12-11
ubuntu20.04安装QT 一、 安装cmake 二、 安装gcc和g++ 三、 下载QT 四、 安装QT 五、 故障解决
Ubuntu服务器安装SQL_Ubuntu服务器安装SQL_
10-01
Ubuntu服务器安装SQL[Linux基础环境/软件]Linux下安装mysql
Linux (Ubuntu 18.04) 下安装vim编辑器的方法
09-14
主要介绍了Linux (Ubuntu 18.04) 下安装vim编辑器的方法,非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下
如何在ubuntu下编译dolphin-player所用的libffmpeg.so
格物致知的专栏 [音视频编解码 网络协议 计算机视觉 计算机图形学 图像理解 语音识别 机器学习 模拟电路 传感器]
04-16 3100
dolphin-player是一个不怎么复杂的android下的播放器，
Dolphin Scheduler 调研日记（一）：环境准备
u013644146的专栏
05-12 1445
先发一个官方的链接 https://dolphinscheduler.apache.org/zh-cn/docs/1.2.0/user_doc/standalone-deployment.html 1、基础软件就位 这里用的单机模式，必须的软件工具有 PostgreSQL (8.2.15+) or Mysql (5.7系列) : 两者任选其一即可 JDK(1.8+) : 必装，请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量 ZooKeeper (3.4.6+.
dolphinscheduler3.1.0安装
08-18
您好！要安装DolphinScheduler 3.1.0，可以按照以下步骤进行操作： 1. 首先，确保您的系统满足以下要求： - 操作系统：Linux（推荐使用CentOS 7.x或Ubuntu 18.x） - Java版本：JDK 1.8 - 数据库：MySQL 5.7.x 2. 下载DolphinScheduler 3.1.0的安装包。您可以从DolphinScheduler的官方GitHub仓库（https://github.com/apache/incubator-dolphinscheduler/releases）中找到安装包。 3. 解压下载的安装包。您可以使用命令 `tar -zxvf dolphinscheduler-3.1.0.tar.gz` 进行解压。 4. 修改配置文件。进入解压后的DolphinScheduler目录，编辑 `conf/dolphinscheduler.properties` 文件，根据您的需求修改其中的配置，如数据库连接信息、日志路径等。 5. 初始化数据库。使用以下命令初始化DolphinScheduler的数据库： ``` cd bin ./dolphinscheduler-daemon.sh start api-server ``` 6. 启动DolphinScheduler服务。使用以下命令启动DolphinScheduler的各个组件： ``` ./dolphinscheduler-daemon.sh start master-server ./dolphinscheduler-daemon.sh start worker-server ./dolphinscheduler-daemon.sh start logger-server ``` 7. 访问DolphinScheduler的Web UI。在浏览器中输入 `http://<your_dolphinscheduler_server>:8888`，其中 `<your_dolphinscheduler_server>` 是您部署DolphinScheduler的服务器地址。 这些是基本的安装步骤，您可以根据需要进行额外的配置和优化。希望对您有所帮助！如有任何问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

EdgeCity_TF

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值