多个SPARK版本导致任务提交问题

最新推荐文章于 2022-11-10 12:30:20 发布
最新推荐文章于 2022-11-10 12:30:20 发布
阅读量485 收藏 1
点赞数
文章标签： spark 大数据 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jobschen/article/details/126429047
版权

一个项目的集群部署了多个spark版本，和java版本，最开始提交任务一直与所指定的spark版本不一致，
使用2.3目录下的spark-submit, 但是日志却显示是2.1。
后面分析发现，应该是环境变量的问题， 手动在spark-submit脚本前增加export 相关环境变量，得到想要的结果。

在这里插入图片描述
过程中有报以下等错误：

Error: A JNI error has occurred, please check your installation and try again
Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger

Exception in thread "main" java. lang. NoSuchFieldError: DEFAULT MAPREDUCE APPLICATION CLASSPATE

下面这个文章比较有用
https://www.cnblogs.com/chenzechao/p/10204263.html

昵称诚诚
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
SPARKSQL3.0-Spark兼容多版本Hive源码分析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
12-01 2161
SPARKSQL3.0-Spark兼容多版本Hive源码分析
Spark调优多线程并行处理任务实现方式
08-18
主要介绍了Spark调优多线程并行处理任务实现方式,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Spark从入门到精通二----spark任务的提交方式spark-shell/spark-submit----------各种版本的wordcount
qq_824203453_的博客
09-19 4039
版权声明：本文为博主原创文章，未经博主允许不得转载!! 欢迎访问:https://blog.csdn.net/qq_21439395/article/details/82779266 交流QQ: 824203453   执行Spark程序 使用spark-shell命令和spark-submit命令来提交spark任务。 当执行测试程序，使用spark-shell，spark的交互式命...
spark系列-应用篇之通过yarn api提交Spark任务
马各马它
08-23 9243
前言 在工作中，大部使用的都是hadoop和spark的shell命令，或者通过java或者scala编写代码。最近工作涉及到通过yarn api处理spark任务，感觉yarn的api还是挺全面的，但是调用时需要传入很多参数，而且会出现一些诡异的问题。虽然最终使用livy来提交任务，但是通过yarn api提交任务可以帮助使用者更好的理解yarn，而且使用yarn查询任务还是不错的。至于liv...
Spark多版本问题：Multiple versions of Spark are installed but SPARK_MAJOR_VERSION is not set
GulfMoon
02-22 1987
一、问题背景 Shell脚本A中编写了提交Spark作业的命令（spark-submit ...），Shell脚本B作为统一调度脚本中间调用了脚本A，但是作业并没有提交yarn，查看日志信息如下： Multiple versions of Spark are installed but SPARK_MAJOR_VERSION is not set 二、分析过程 1. 查看Spark当前版本...
Multiple versions of Spark are installed but SPARK_MAJOR_VERSION is not set问题
大头皮鞋的博客
05-27 883
使用spark-submit提交应用时，出现如下问题： Multiple versions of Spark are installed but SPARK_MAJOR_VERSION is not set Spark1 will be picked by default 那么Spark存在多个版本时，默认使用Spark1.x $ spark-submit --version Multi...
Spark多版本共存
黑眼圈@~@从不出水文
02-04 1777
前言 我们公司用的是Spark2.3.2，但是现在测试DeltaLake又需要用到Spark3.0，所以在当前集群做多个Spark版本共存。 一、下载 下载当然是要去Spark官网下载咯。自己选择对应的版本下载。 当然，如果没有对应的版本，就需要自己下载源码，更改版本然后重新进行编译。 1、下载 $ wget https://mirror.bit.edu.cn/apache/spark/spark-3.0.0/spark-3.0.0-bin-hadoop3.2.tgz 2、解压，路径为/data/sof
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
10-28
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
java提交spark任务到yarn平台的配置讲解共9页
11-21
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
spark-2.0.1集群安装及编写例子提交任务
11-11
spark-2.0.1集群安装及编写例子提交任务,包括集群安装包及例子代码加上安装文档， spark-2.0.1集群安装及编写例子提交任务,包括集群安装包及例子代码加上安装文档
Spark提交任务
别人笑我太疯癫，我笑他人看不穿。
11-02 3672
Spark_Submit脚本参数 Spark-submit脚本提交任务时最简易的命令格式如下： ./bin/spark-submit \ --master spark://localhost:7077 \ 任务包 任务参数 而实际开发中用的一般是如下的格式 ./bin/spark-submit \ --master yarn \ --deploy-mode cluster \ --driver-memory 1g \ --executor-memory 1g \ --executor-cores 11
Spark on YARN资源申请
anshenwa4859的博客
03-16 139
1.spark submit参数 $ ./bin/spark-submit --class path.to.your.Class --master yarn --deploy-mode cluster [options] <app jar> [app options] Multiple versions of Spark are installed but S...
spark提交任务的三种的方法
helloxiaozhe的博客
04-25 8422
spark提交任务的三种的方法 在学习Spark过程中，资料中介绍的提交Spark Job的方式主要有三种： 1、使用spark 自带的spark-submit工具提交任务 通过命令行的方式提交Job,使用spark 自带的spark-submit工具提交，官网和大多数参考资料都是已这种方式提交的，提交命令示例如下： ./spark-submit --class com.learn.spark.SimpleApp --master yarn --deploy-mode client --driver-
【持续更新】Spark Submit命令 配置参数详解
weixin_42151880的博客
11-10 5634
spark submit 参数
Spark(二): spark-submit命令详解
SeaSky_Steven的博客
01-03 2559
spark-submit命令利用可重用的模块形式编写脚本，并且以编程方式提交作业到Spark。 spark-submit命令 spark-submit命令提供一个统一的API把应用程序部署到各种Spark支持的集群管理器上，从而免除了单独配置每个应用程序。 命令行参数 下面逐个介绍这些参数： --master：用于设置主结点URL的参数。 local：用于执行本地机器...
配置Spark时Error: A JNI error has occurred, please check your installation and try again
ZhifanSk的博客
04-11 5827
在Spark官网下载Spark时可以选择下载带Hadoop和不带Hadoop的版本。 如果选择下载不带Hadoop的版本，需要在${SPARK_HOME}/conf/spark-env.sh中export环境变量SPARK_DIST_CLASSPATH，否则会在启动时遇到A JNI error has occurred, please check your installation and try...
spark spark.shuffle.service.enabled
weixin_38751513的博客
11-19 5374
操作场景 Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据，给其他Executor提供shuffle数据。当Executor进程任务过重，导致GC而不能为其他Executor提供shuffle数据时，会影响任务运行。 External shuffle Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务...
spark-submit（spark版本2.3.2）
weixin_30600197的博客
04-28 244
spark-submit官方文档 ：http://spark.apache.org/docs/latest/submitting-applications.html spark-properties官方文档：http://spark.apache.org/docs/latest/configuration.html Launching Applications with spark-submi...
向Spark集群部署提交(scala版)Spark程序时需要注意这些问题
hyj
12-09 348
1、scala_sdk版本的一致性 IDEA中的scala_sdk的版本要和引入jar包中scala的版本保持一致性。 以下是我引入的spark-2.2.0-bin-hadoop2.7安装包中的jar包： 可见需要的scala版本是2.11.8版本，因此在IDEA配置scala_sdk时也要使用2.11.8版本，否则在提交spark集群时会报如下错误： java.lang.Boots...
hue 提交spark任务
最新发布
11-07
提交Spark任务有多种方法，其中最常用的方法是通过spark-submit命令行工具来提交任务。 首先需要将Spark安装和配置好，确保Spark环境能够正常运行。然后，可以通过以下命令来提交任务： ```shell $ spark-submit --class <main-class> --master <master-url> --deploy-mode <deploy-mode> <application-jar> [application-arguments] ``` 其中，`<main-class>`指定了Spark应用程序的主类；`<master-url>`指定了Spark应用程序要连接的集群的URL；`<deploy-mode>`指定了应用程序的运行模式，可以选择为`client`或者`cluster`；`<application-jar>`指定了打包好的应用程序的jar包路径；`[application-arguments]`是可选的应用程序参数。 在Hue中提交Spark任务，可以通过以下步骤实现： 1. 在Hue的首页上点击"Spark"菜单。 2. 在Spark页面中，点击"New Job"按钮。 3. 在"Job Configuration"页面中，填写任务的相关信息，包括任务名称、主类、Jar文件路径、Spark参数等。 4. 点击"Save"按钮保存配置。 5. 回到Spark页面，点击"Run Job"按钮来提交任务。 通过以上步骤，就可以在Hue中提交Spark任务了。在任务运行完成后，可以查看任务的运行日志和结果。 除了使用Hue，也可以在命令行中直接使用`spark-submit`命令来提交Spark任务。使用Hue提交Spark任务更加方便和易用，可以在Web界面上完成任务的配置和提交，无需手动输入命令和参数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值