dolphinscheduler3.1.1安装部署与问题解决

最新推荐文章于 2024-01-10 09:14:43 发布
最新推荐文章于 2024-01-10 09:14:43 发布
阅读量125 收藏
点赞数
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nanfeng_fable/article/details/132996253
版权
大数据技术 专栏收录该内容
13 篇文章 0 订阅 ¥99.90 ¥299.90
订阅专栏
本文详细介绍了如何在Ambari集群上安装dolphinscheduler 3.1.3，包括安装前的JDK、数据库、ZooKeeper等依赖配置，以及用户创建与权限设置。在安装过程中遇到的与ZooKeeper版本不兼容的问题，提出了升级ZooKeeper至3.8版本的解决方案。最后，文章还提到了ds源码修改以支持Trino数据源的方法，并展示了打包过程。
摘要由CSDN通过智能技术生成

0 背景

本文基于Ambari集群搭建最新版本的海豚调度dolphinscheduler-3.1.3版本，后续会尝试整合到Ambari中。

1 安装准备

安装dolphinscheduler需要在环境中安装如下依赖

① JDK8<

了解本专栏 订阅专栏 解锁全文
留梦言
关注
专栏目录
订阅专栏
Ambari2.7+HDP3.X集成Dolphinscheduler1.3
u013289115的博客
06-27 5662
一、安装准备二、环境准备1.新建数据库2.java环境准备三、ambari集成1.软件包准备2.修改文件3.正式安装 一、安装准备 Dolphinscheduler1.3安装包，详情可参考 dolphinscheduler在window环境下单机编译+部署 中生成的的tar包，由于官网未正式release，为大家方便，这里提供已编译好的tar包，链接：https://pan.baidu.com/s/18ILymCAnYnhcIpgbGUAENQ 提取码：vvtw mysql jdbc驱动包：mysql.
DolphinScheduler安装部署
AnameJL的博客
08-10 1万+
DolphinScheduler调度工具安装部署
最新版海豚调度dolphinscheduler-3.1.3安装部署详细教程
热门推荐
不以物喜的博客
01-20 1万+
最新版dolphinscheduler-3.1.3版本安装部署
DolphinScheduler 1.3.9 海豚调度 安装部署教程
想练武，就得下功夫
07-14 1217
DolphinScheduler 海豚调度
【大数据进阶第三阶段之DolphinScheduler学习笔记】DolphinScheduler(海豚调度)的部署指南
最新发布
一个老码农
01-10 2685
只需要更改 dolphinscheduler-worker 服务的镜像.创建一个新的Dockerfile，用于安装 pip:这个命令会安装默认的pip 18.1. 如果你想升级 pip, 只需添加一行构建一个包含 pip 的新镜像:推送 docker 镜像到一个 docker registry 中修改文件中 image 的repository字段，并更新tag为pip部署 dolphinscheduler (详见安装 dolphinscheduler在一个新 Python 任务下验证 pip。
新一代调度系统Dolphinscheduler的部署和简单使用总结
東川
08-22 3787
一、软件简介 分布式易扩展的可视化工作流任务调度平台 Apache DolphinScheduler(incubator) 于17年在易观数科立项，19年3月开源， 19 年8月进入Apache 孵化器。 Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 整体架构 二、安装部署 支持单机，集群，docker，kubernetes，sk..
海豚包dolphinscheduler3.1
03-06
3. 监控与报警：设置合适的监控指标和报警阈值，及时发现并解决问题。 4. 任务优化：对任务进行合理的拆分和并行化，提高执行效率。 总之，海豚调度器3.1.1版本在大数据处理领域提供了强大的工作流调度解决方案，...
k8s安装KubeSphere3.1.1
m0_37959155的博客
07-26 978
k8s安装KubeSphere
spark2.4.0安装
genus_yang的博客
02-28 2937
spark2.4.0安装安装步骤scala解压复制到所有节点spark解压配置环境变量spark-env.sh文件配置slaves文件配置spark目录文件同步到其他节点启动spark验证spark是否成功 安装步骤 本文是spark2.4.0基于scala2.10.6的spark安装！ spark下载链接：http://mirrors.shu.edu.cn/apache/ scala下载链接：h...
海豚调度3.1.8集群部署
qq_44936258的博客
08-30 1307
由于安装的时候需要向不同机器发送资源，所以要求各台机器间能实现。在安装海豚调度的主机上执行下面指令，实现集群间免密。将二进制包上传到部署服务器并解压，解压后的目录为。修改目录权限，使得部署用户对二进制包解压后的。配置的节点自动安装各服务并启动，启动后可使用。等环境变量，配置上一步创建的数据库连接信息。配置各服务运行的服务器节点及服务的安装目录。配置了海豚调度服务使用到的所有服务器集群。模块，提供工作流管理和编排服务。，两者任选其一即可，此项目选择。模块，提供任务执行管理服务。环境变量，并将其下的。
集群安装HDP3.5.1和ambari和dolphinscheduler的预处理流程
qq_36998298的博客
09-20 1054
dolphinscheduler编译集群安装的预处理
Ambari安装 (Ambari-2.7.4.0 +HDP-3.1.4.0+HDP-UTILS-1.1.0.22 基于CentOS7)
记录学习
04-18 5202
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。 Apache Ambari支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。
DolphinScheduler Ambari插件解说
qq825193156的专栏
11-26 1797
1，stacks定义标准 statcks中定义了HDP的不同的版本，如果想自定义一个插件，必须首先要明了此插件是放在HDP那个版本中的，比如下图是放在3.1版本中的， 在3.1下建立自己的插件名称，然后自定义建立 metainfo.xml 文件，该文件引用了common-services中的指定的版本 大数据平台 > 2. Ambari插件 > 3.png 2，common-services定义 common-services 定义了插件的不同的版本，而且不同的版本是可以有继承关系的。 大数据平
【DolphinScheduler】集群搭建
hyj
10-22 1787
集群搭建
Apache DolphinScheduler 1.3.2 发布，架构升级，性能提升 2~3 倍
数据之路
09-10 3266
引言 大数据任务调度作为大数据建设中的核心基础设施，在经过社区用户们长期的使用中，不少用户对调度也提出了很多新的要求，为此，Apache DolphinScheduler(Incubating)经过长达 5 个多月的辛苦努力， 终于发布了 1.3.2 正式版本。DolphinScheduler-1.3.2 有超过 30 名贡献者参与开发，性能较 1.2 版本有 2 ~ 3 倍的提升，相对 1.2 版本，1.3.x 增加了诸如 K8s支持、多目录管理等重要的新特性和新的任务类型。1.3.x 重要的改动如下.
Ambari 安装过程中常见问 Ambari 2.7.3 + HDP3.1.0
qq_53047108的博客
09-28 422
安装ambari过程中遇到的一些问题合集
Ambari安装和配置详细步骤
小慌慌的博客
09-04 1万+
​ 目录 一、准备环境 二、修改主机名和hosts文件 八、安装ambari 九、系统配置 十、实例演示 一、准备环境 1、服务器准备至少3台 我这边准备了3台： 192.168.1.86（master） 192.168.1.87（slave1） 192.168.1.88（slave2） 2、在（master上）:mkdir -p /var/www/html ​3、ambari依赖包准备，上传到主节点master的/var/www/html路径下 （本次选择的amb..
DolphinScheduler安装
Java框架、并发编程、分布式、微服务、Redis、HarmonyOS、中间件等技术
07-22 1256
1、DS源码编译 1.1 版本规划 DS在成为Apache孵化项⽬之后的最新稳定版是1.3.4，并提供了Flink的⽀持，我们就使⽤1.3.4即可 1https://github.com/apache/incubator-dolphinscheduler/releases 1.2 克隆代码 1gitclonehttps://github.com/apache/incubator-dolphinscheduler.git 1.3 适配HDP3.1 DS依赖于Hadoop、Hiv..
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值