DolphiScheduler平台上运行spark程序时，外部参数设置

最新推荐文章于 2024-03-13 17:00:52 发布
最新推荐文章于 2024-03-13 17:00:52 发布
阅读量886 收藏 2
点赞数
分类专栏： scala Spark 文章标签： spark scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/selfond/article/details/124687479
版权

DolphiScheduler平台上运行spark程序时，外部参数设置

近期使用DS平台执行spark程序，遇到了部分参数设置的问题，代码中需要外部传入一个参数procDate(处理日期)，具体设置如下：

1. scala代码中需要传入时间和路径两个参数

# scala
val procDate = args(0)
val path= args(1)

2. DS作业中设置这两个参数的格式

  • 在主程序参数栏中传递这两个参数的值：$[yyyy-MM-dd-1] /user/home/test/
  • 参数$[yyyy-MM-dd] 表示当前日期，$[yyyy-MM-dd-1]表示当前日期-1天，如当前日期 $[yyyy-MM-dd]是2022-05-10，$[yyyy-MM-dd-1]就表示2022-05-09
  • /user/home/test/表示传入的第二个参数值
  • 两个参数间用空格分隔，类似shell命令
    主程序参数
selfond
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【DolphinScheduler】提交spark任务scopt参数问题
hyj
11-01 1383
在spark中如果使用的是scopt技术传递参数，则scopt参数在ds中的传递位置和格式如下：
【DolphinScheduler】spark任务执行成功,状态却显示失败问题
hyj
11-01 2431
1、问题描述 在ds上执行运行一个spark任务，yarn显示成功运行并有正常输出，但是ds的页面反馈为失败。 页面显示： worker节点日志显示： [ERROR] 2021-11-01 10:31:53.418 org.apache.dolphinscheduler.common.utils.HttpUtils:[73] - Connect to 192.168.xxx.xx3:8088 [/192.168.xxx.xx3] failed: 拒绝连接 (Connection refused
dolphinscheduler3.1.4提交spark任务--master参数源码解析
keepandkeep的博客
03-31 649
今天把在dolphinscheduler提spark任务配置通了，但是在实例任务的日志中，我发现spark任务的提交命令。二、可以先扫一眼SparkConstants.java，里面是定义的一些配置常量，混个眼熟，方便后面分析。四、定位调用populateSparkOptions函数的地方，看args参数怎么融入。参数总是yarm，而且任务配置页面也无该阐述的配置，遂，去分析源码去了。后面其他的配置阐述就不详细说了，本文关注 --master 参数。="local"时，args列表里的值为。
dolphischeduler 连接spark 3简单记录
weixin_40455124的博客
06-16 645
dolphischeduler 无需修改就可以支持spark 3，但需要先将spark安装到worker节点 并设置好如下环境变量 YARN_APPLICATION_STATUS_ADDRESS=http://namenode:8088/ws/v1/cluster/apps/%s SPARK_HOME2=/spark 先通过资源管理上传好jar，在配置界面选择spark2就可以。 ...
springboot项目集成dolphinscheduler调度器 可拖拽spark任务管理
刘大猫
05-22 2623
dolphinscheduler调度器接入注意事项等信息可参考我的上一篇博客进行了解，地址在这里 -> 一、功能清单 二、可拖拽spark任务管理 说明：任务管理实际是操作dolphinscheduler调度器中的项目中的用户下唯一工作流中的各种类型节点的管理操作 共用的依赖 <!--httpclient--> <dependency> <groupId>commons-httpclient</groupId> <artifac.
运行Spark程序的方法
01-07
在启动时便会自动生成一个驱动器程序，所以只需要在Spark shell中输入项运行的操作就可以了 pyspark –master MasterURL –name NAME 在Spark shell中运行语句sc可直接得到驱动器程序的相关信息 jupyter Notebook 是...
详解Java编写并运行spark应用程序的方法
08-29
主要介绍了详解Java编写并运行spark应用程序的方法，内容详细，结合了作者实际工作中的问题进行具体分析，具有一定参考价值。
Scala基础(12)Spark命令参数及独立应用程序
01-20
如果设置为`local[*]`，那么Spark将在本地模式下运行，这里的`*`代表你想使用的CPU核心数量。例如，如果你有4个CPU核心，你可以运行`./bin/spark-shell --master local[4]`来启动Spark Shell，并使用这4个核心模拟...
Spark运行架构
02-25
lApplication：SparkApplication的概念和HadoopMapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码；lDriver：Spark中的Driver即运行上述...
spark-hpc:通过 PBS 批处理系统在 Linux 集群上运行 SPARK 应用程序
07-03
概述这个包通过 PBS 批处理系统在 Linux 集群上运行 SPARK 应用程序。 它基于并使用 simr（ ）的后端它目前支持 Spark 1.x 和可使用 spark-class 运行的 Scala（Java）应用程序。发展设置开发环境使用定义如何设置...
Dolphinscheduler海豚调度器
pansiliang2009的博客
07-21 359
下载JDK (1.8+)，安装并配置 JAVA_HOME 环境变量，并将其下的 bin 目录追加到 PATH 环境变量中。如果你的环境中已存在，可以跳过这步。：PostgreSQL (8.2.15+) 或者 MySQL (5.7+)，两者任选其一即可，如 MySQL 则需要 JDBC Driver 8.0.16。注意: DolphinScheduler 本身不依赖 Hadoop、Hive、Spark，但如果你运行的任务需要依赖他们，就需要有对应的环境支持。# 部署 DolphinScheduler。
Dolphin Scheduler 1.1.0升级1.2.0避坑指南
baidu_31618421的博客
03-11 1403
1组件介绍Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即...
深入了解海豚调度DolphinScheduler
男神的专栏
05-31 3968
容错后处理：ZooKeeper Master容错完成之后则重新由DolphinScheduler中Scheduler线程调度，遍历 DAG 找到”正在运行”和“提交成功”的任务，对”正在运行”的任务监控其任务实例的状态，对”提交成功”的任务需要判断Task Queue中是否已经存在，如果存在则同样监控任务实例的状态，如果不存在则重新提交任务实例。在这种架构下，集群中的管理者是被动态选择出来的，而不是预置的，并且集群在发生故障的时候，集群的节点会自发的举行"会议"来选举新的"管理者"去主持工作。
spark共享变量
qq_15625193的博客
01-16 117
通常，Spark程序计算的时候，我们传递的函数是在远程集群节点上执行的，在函数中使用的所有变量副本会传递到远程节点，计算任务使用变量副本进行计算。这些变量被复制到每台机器上，对远程机器上的变量的更新不会返回driver程序。 ...
Apache DolphinScheduler 海豚调度器自定义时间参数
热门推荐
suncat的博客
03-03 1万+
在Apache DolphinScheduler 海豚调度器（本文简称:小海豚） 官网中，我们看到其自定义时间的参数是这样介绍的 1.支持代码中自定义变量名，声明方式：${变量名}。可以是引用 "系统参数" 或指定 "常量"。 2.我们定义这种基准变量为 [...] 格式的，[yyyyMMddHHmmss] 是可以任意分解组合的，比如：$[yyyyMMdd], $[HHmmss], $[yyyy-MM-dd] 等 3.也可以使用以下格式： * 后 N 年：$[add_months(yyyyMMdd
DolphinScheduler使用系统时间
熊浪的博客
06-24 6249
（一）、add_months()加减月份，加减12月就是年份，格式可以说yyyyMMdd，yyyyMM，yyyy （二）、直接±指的是加减天数，加减7天就是一周，格式可以说yyyyMMdd，yyyyMM，yyyy （三）、时分秒±是加减也是天，天除以24小时，前面的就算小时，再除以60表示分钟 （四）、即使格式只是yyyy，yyyyMM，±也是天数的加减，yyyy，yyyyMM只是输出格式时分秒类似...............
海豚调度系列之：任务类型——SPARK节点
最新发布
zhengzaifeidelushang的博客
03-13 1545
本案例为创建一个视图表 terms 并写入三行数据和一个格式为 parquet 的表 wc 并判断该表是否存在。程序类型为 SQL。将视图表 terms 的数据插入到格式为 parquet 的表 wc。本案例为大数据生态中常见的入门案例，常应用于 MapReduce、Flink、Spark 等计算框架。主要为统计输入的文本中，相同的单词的数量有多少。若生产环境中要是使用到 Spark 任务类型，则需要先配置好所需的环境。在使用 Spark 任务节点时，需要利用资源中心上传执行程序的 jar 包。
dolphinscheduler 报错及解决办法
光于前裕于后的博客
04-26 1万+
1 目录权限问题 ERROR orm.CompilationManager: Could not rename /tmp/sqoop-hive/compile/4c4230b9e5d67829fa1f847893ff8560/QueryResult.java to /tmp/dolphinscheduler/exec/process/2/7/25/35/./QueryResult.java. Error: /tmp/dolphinscheduler/exec/process/2/7/25/35/./Quer
dolphinscheduler启动报错
dandandeshijie的博客
03-07 2368
dolphinscheduler 本地idea启动常见问题，spotless代码格式报错。 spotless-maven-plugin:2.23.0:apply failed: No such reference 'HEAD'错误
spark持久化机制会缩短spark程序运行时长吗
03-01
Spark的持久化机制可以显著缩短Spark程序的运行时长。持久化机制允许将RDD（弹性分布式数据集）在内存中进行缓存，以便在后续的计算中重复使用。这样可以避免重复计算和磁盘IO，从而提高程序的执行效率。 当一个RDD...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值