dolphinscheduler的spark环境变量踩坑记录

最新推荐文章于 2024-08-06 10:39:09 发布
最新推荐文章于 2024-08-06 10:39:09 发布
阅读量287 收藏 2
点赞数 7
文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/inori1256/article/details/140812924
版权

尝试使用dolphinscheduler调度器跑spark任务时，一直报错spark，环境变量异常。

[INFO] 2024-07-30 17:36:04.658 TaskLogLogger-class org.apache.dolphinscheduler.plugin.task.spark.SparkTask:[66] -  -> welcome to use bigdata scheduling system...
    /opt/software/dolphinscheduler-2.0.8-install/data/exec/process/14451333567744/14451413115008_1/3/7/3_7.command: line 12: /bin/spark-submit: No such file or directory

往上看日志发现

得知环境变量不能像官方模板一样配SPARK_HOME，而是要配SPARK_HOME1和SPARK_HOME2(取决于调度器运行时选择的spark版本)，最终任务成功运行。

inori1256
关注
  • 7
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于DolphinScheduler构建大数据调度平台
07-26
基于DolphinScheduler构建大数据调度平台，课程会带大家构建DolphinScheduler大数据调度平台，实战讲解多种任务调度配置，会基于案例讲解DolphinScheduler使用，让大家在实战中掌握DolphinScheduler。
【Spark数仓项目】需求四：Dolphinscheduler进行日志文件调度
qq_31412425的博客
06-30 1087
项目中所需的表，工具类，可以在前文需求中找到。
dolphinscheduler3.1.4提交spark任务--master参数源码解析
keepandkeep的博客
03-31 686
今天把在dolphinscheduler提spark任务配置通了，但是在实例任务的日志中，我发现spark任务的提交命令。二、可以先扫一眼SparkConstants.java，里面是定义的一些配置常量，混个眼熟，方便后面分析。四、定位调用populateSparkOptions函数的地方，看args参数怎么融入。参数总是yarm，而且任务配置页面也无该阐述的配置，遂，去分析源码去了。后面其他的配置阐述就不详细说了，本文关注 --master 参数。="local"时，args列表里的值为。
海豚调度系列之：任务类型——SPARK节点
zhengzaifeidelushang的博客
03-13 1771
本案例为创建一个视图表 terms 并写入三行数据和一个格式为 parquet 的表 wc 并判断该表是否存在。程序类型为 SQL。将视图表 terms 的数据插入到格式为 parquet 的表 wc。本案例为大数据生态中常见的入门案例，常应用于 MapReduce、Flink、Spark 等计算框架。主要为统计输入的文本中，相同的单词的数量有多少。若生产环境中要是使用到 Spark 任务类型，则需要先配置好所需的环境。在使用 Spark 任务节点时，需要利用资源中心上传执行程序的 jar 包。
Dolphinscheduler3.0.0使用（三）spark任务的工作流使用
nhm_lxy的专栏
04-26 1168
Dolphinscheduler3.0.0使用（三）spark任务的工作流使用 1.11. 创建spark任务工作流定义。1.13. 查看spark工作流任务日志。1.12. Spark工作流上线运行。
Dolphinscheduler调度spark任务踩坑记录
快乐星球
11-16 8556
1、关于spark调度的worker部署 我在测试Dolphinscheduler时采用的是集群模式，两台机器部署master，两台机器部署worker，而hadoop和spark则是在其他的机器上部署的。在配置dolphinscheduler_env.sh文件时对如何设置spark环境地址就很疑惑。测试调度时果然第一个问题就是找不到spark-submit文件 command: line 5: /bin/spark-submit: No such file or directory 通过日志查看调度过
Apache DolphinSchedule 安装部署踩坑
Nice的博客
02-28 6193
Apache DS 安装部署 @Author：Michealkz 镜像下载地址 官方下载地址：https://dolphinscheduler.apache.org/zh-cn/download/download.html 国内镜像下载地址： # 清华源下载地址 https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/dolphinscheduler/1.3.5/apache-dolphinscheduler-incubating-1.3.5-dolphi
关于dolphinscheduler运维过程遇到的问题：任务实例host为空
weixin_47966379的博客
09-05 1931
突然灵光一现，发现有开启防火墙这个步骤，于是对比了两台机器的防火墙情况，果真，正常运行的机器防火墙是关闭状态。3、dolphinscheduler调度在pg安装后平稳工作，但是全部作业在设置防火墙的那天起，变成了单一节点运行，由于资源抢占出现IO、GC等报错，重启作业以后成功，作业失败率增加导致分析师怒怼。点击到测试作业中查看日志时，页面空白，且弹出：（任务实例host为空）的提示词，后台根据日志数据库的内容，发现测试实例运行对应的host节点内容为空，遂费尽心思多方查找两个机器的差异。
dolphinscheduler工作流模板
07-06
在本文中，我们将探讨如何利用Dolphinscheduler构建基于Hadoop、Spark、Hive的工作流模板，以及涉及到的数据同步与运算过程。 首先，我们关注的是“HIVE建表”这一环节。Hive是Hadoop生态系统中的一个数据仓库工具...
apache-dolphinscheduler-3.1.4-bin
02-20
2. **任务类型支持**：DolphinScheduler支持多种任务类型，包括Shell、Java、Python、Spark、Hadoop等，覆盖了大数据处理的常见需求。 3. **资源管理**：系统允许用户定义和管理资源，如HDFS路径、数据库连接等，...
dolphinScheduler海豚调度器动态传递任务执行参数
02-23
**dolphinScheduler**（简称DS）是一款强大的分布式任务调度平台，支持多种类型的作业执行，如Shell、Python、Spark等。它能够高效地管理任务间的依赖关系，并提供了丰富的功能来满足企业级的数据处理需求。在大数据...
dolphinScheduler跑spark任务调度问题汇总
最新发布
weixin_56130021的博客
08-06 865
分发spark安装包到各个节点，因为ds的worker涉及到hadoop11-13，都需要有spark-submit提交作业的能力。如果在windows压缩，可能有问题。推荐在linux上压缩。在服务器上运行，需要将他们放到HDFS上。：python3找不到。
深入了解海豚调度DolphinScheduler
男神的专栏
05-31 4177
容错后处理：ZooKeeper Master容错完成之后则重新由DolphinScheduler中Scheduler线程调度，遍历 DAG 找到”正在运行”和“提交成功”的任务，对”正在运行”的任务监控其任务实例的状态，对”提交成功”的任务需要判断Task Queue中是否已经存在，如果存在则同样监控任务实例的状态，如果不存在则重新提交任务实例。在这种架构下，集群中的管理者是被动态选择出来的，而不是预置的，并且集群在发生故障的时候，集群的节点会自发的举行"会议"来选举新的"管理者"去主持工作。
Dolphinscheduler 3.2.1bug记录
guofei_ok的博客
07-30 221
问题1：
DolphinScheduler分布式集群部署指南(小白版)
Apache DolphinScheduler开源社区
06-27 1027
摘自官网：Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。
dolphinscheduler-3.0.6伪集群部署坑点
weixin_45928691的博客
11-03 278
原因：此版本的对应的mysql连接的jar包版本需要8.0.16以上，且需要将对应版本jar包复制至alert-server,api-server,master-server,worker-server,tools目录下的lib目录下。1、伪集群部署需要对应修改install_env.sh和dolphinscheduler_env.sh。2、部署完成后，海豚调度UI界面无法打开，显示拒绝访问。
【大数据-调度工具】dolphinscheduler安装和遇到的问题
Dekazhuo的博客
05-11 1783
找到请求url，baseURL中有个参数是timeout 为 15e3(15000ms即15s),找到对应ds安装目录下的ui/asserts/ 对应js脚本文件，时间改大一点。在资源中心中上传文件选择完大文件夹之后，选择确认之后确认按钮转了几圈圈之后就没反应了，对应服务器上使用ds登录的用户资源目录也没有对应的文件。但是切换完ds租户提交任务之后，也可以成功提交，但是任务一直处于created 的状态，并且在一段时间之后会失败并报错。已经删除了的工作流中的任务定义依然存在，也不能通过前端删除。
dolphinscheduler spark
08-23
DolphinScheduler是一款开源的分布式调度系统，支持多种计算框架，包括Spark。在DolphinScheduler中，您可以使用Spark作为作业类型之一，以便更好地处理大数据。通过DolphinScheduler与Spark的结合，您可以轻松地创建和管理Spark作业，并根据需要进行任务调度和监控。此外，DolphinScheduler还提供了丰富的资源管理和任务调度功能，让您的Spark作业能够更加高效地运行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值