spark-submit报错

最新推荐文章于 2023-09-10 17:32:24 发布
最新推荐文章于 2023-09-10 17:32:24 发布
阅读量702 收藏 1
点赞数
分类专栏： scala spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mruoli/article/details/84703401
版权

sbt package编译了一个wordcount，但是spark-submit时候一直报错

Exception in thread "main" java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction2$mcIII$sp

原因：安装的scala版本和spark带的scala版本不匹配，重新安装正确的scala版本

解决方法：

ls $SPARK_HOME/bin | grep scala

查看正确的scala版本，并到scala官网下载正确的scala包安装，然后修改build.sbt的scala-version信息，重新编译

mruoli
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark-submit报错:Application application_1529650293575_0148 finished with failed status
主要分享大数据相关的知识，如Spark、Hudi
07-11 1万+
记录spark-submit提交Spark程序出现的一个异常，以供第一次出现这种异常且不知道原因，该怎么解决的的同学参考。
Spark权限问题：Spark-submit运行报错 Permission denied user=deploy
九师兄
10-09 4241
1.视界 2.背景 Spark权限问题：Spark-submit运行报错 Permission denied user=deploy 这个问题是权限问题，只需要修改一下hdfs路径的权限就好了 原本的权限 # hdfs dfs -ls /user/spark/ drwxr-xr-x - spark spark /user/spark/applicationHistory drwxr-xr...
spark-submit 提交报错
langzi_hadoop的博客
12-29 1501
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object; 解决方法 代码中的spark版本依赖必须和集群spark版本一致 否则报如上错误。 我的服务器有两套不一样的spark集群版本因此命令有两个如下： spark-submit \ --class com.picc.cn.Spark2Hdfs \ --master ya
spark-submit提交任务报错：java.sql.SQLException:No suitable driver
AnameJL的博客
04-13 2248
提交spark任务时一直报错:No suitable driver 提交任务命令如下 spark-submit \ --driver-class-path /opt/sparkJob/mysql-connector-java-5.1.47.jar \ --master yarn \ --deploy-memory cluster \ --driver-memory 4G \ --executor-memory 2G \ --total-executor-cores 12 \ --class com.xxx.
执行spark-submit脚本报错
进阶的spark
08-01 880
java.lang.IllegalArgumentException: System memory 101384192 must be at least 4.718592E8. Please use a larger heap size. at org.apache.spark.memory.UnifiedMemoryManager$.getMaxMemory(UnifiedMemoryMana
spark-submit以集群方式提交应用报错：Exception in thread "main" java.sql.SQLException: No suitable driver
GulfMoon
05-15 1623
一、问题背景 因现场项目临近上线，在现场测试环境部署后台程序时候出现各种奇怪的问题，这些都是在公司内部测试环境都没有遇到过的，很有记录下来的必要。 Spark应用程序的主要业务逻辑是将MySQL中表数据全量同步到Spark中，以yarn-client模式提交执行报错： Exception in thread "main" java.sql.SQLException: No suitable ...
spark-submit
github_28583061的博客
06-01 106
org.apache.spark.deploy.SparkSubmit执行流程 SparkSubmit#doSubmit // 解析参数并做参数验证， val appArgs = parseArguments(args) submit(appArgs, uninitLog) //SparkSubmit#submit // 环境准备 // childMainClass: org.apache.s...
启动spark-shell或执行spark-submit失败的问题
u014005893的博客
09-11 3826
启动spark-shell或执行spark-submit失败的问题 楼主搭建了一套CDH大数据平台，其中包括Spark2服务，近来在终端启动spark-shell以及利用spark-submit提交任务时，分别报以下错误： [root@cdh0 ~]# spark-shell Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream at org.apac
spark 运行自带样例SparkPi、spark-examples报错
热门推荐
楠楠好难
04-15 1万+
错误： scala> ./spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ../examples/jars/spark-examples_2.12-3.10.1.jar 10 scala> spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ../examples/jars/spark-examples_
spark 在本地模式提交spark-submit报错Name node is in safe mode
一只大数据专业的傻猪猪
03-11 1975
问题描述 运行过程中报错显示： 原因分析： 根据报错显示，可以发现报错内容显示的是：名称节点处于安全模式。安全模式下不可以实现增删改操作。 当块的数量低于阀值，datanode启动数量不够都会进入安全模式。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入 安全模式。 解决方案： hadoop为了防止数据丢失，启动了“安全模式”的设置，我们只需要关闭安全模式即可。 ...
关于spark提交作业报错原因
Running_you
11-12 2022
spark提供了scala，java及python等脚本作业的功能，但是在实际运行中很容易卡在sc初始化问题上，这里主要原因在于启动spark环境后系统会自建sc环境，若用户在脚本中新建sc将会报错，但是不使用sc又难以达到脚本的效果，这里提供python脚本的提交方法说明： spark-submit –master local[4] svm.py 而其中关于svm.py的内容则应该这么写：fr
spark-submit碰到的坑（持续更新）
06-24 8001
我的spark部署模式是standalone-cluster，IP分别为：129，130，131，129为Master, 本文主要是将相关配置的注意事项进行记录，相关配置 文件如下： 1、spark-env.sh 2、spark-default.conf(之前报错，配置过，然后又注销掉了） 之前使用spark-shell、spark-submit碰到的异常有以下： 1、dri...
Spark submit执行WordCount报错: cannot assign instance of scala.collection.immutable.List$S
L
03-11 6305
使用Spark写的WordCount程序如下： ​ package rdd import org.apache.spark.{SparkConf, SparkContext} /** * Created by leboop on 2019/3/11. */ object WordCount { private val hdfsUrl="hdfs://bigdata111:900...
spark-submit 跑 scala 写的 spark 报错
邢家鹏(PHP)
07-18 588
用 IDEA 编写 Scala spark 程序时，在 IDEA 可以跑通。 但用 sbt package 打包后的 jar 文件用 spark-submit 跑却出现以下错误 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0) java.io.IOException: unexpected exception type 先进去 ...
Spark-submit报错:Exception in thread “main“ java.io.IOException: Cannot run program ““: error=2
最新发布
Milv_xx的博客
09-10 292
然后 source /etc/profile生效。/etc/profile文件 添加如下代码(
spark-submit 报错：NoClassDefFoundError: scala/runtime/java8/JFunction1$mcII$sp
qq_36835255的博客
05-08 2882
spark版本：2.4.0 用 spark-submit 提交任务到 yarn 报错 ： 错误显示是 scala 环境中找不到某个类，应该是 jar 包的 scala 编译环境和 spark 的 scala 环境版本不一致。 spark 的 scala 版本为 ： 2.11.12 而我的 sbt 编译的 scala 版本为 ： 2.12 那么把 sbt 的 scala 版本改为 2.11.1...
spark-submit 提交任务报错
hor_i_zon的博客
03-29 1758
在idea中用java写spark应用，在服务器上spark-submit提交任务一直报错，在两个不同的spark集群上分别报错java.lang.ClassNotFoundException 和java.lang.SecurityException: Invalid signature file digest for Manifest main attributes 检查了依赖包没有冲突，入口
spark-submit 提交任务报错 java.lang.ClassNotFoundException: Demo02
Rocky
10-16 8208
案例：把sparksql的程序提交到spark的单机模式下执行 package demo01 import org.apache.spark.SparkContext import org.apache.spark.sql.SQLContext import org.apache.spark.SparkConf object Demo02 {     def main(args: Array...
spark任务shell运行_spark任务 在spark-shell上能跑，但是在spark-submit上报错
06-02
这种情况一般是由于环境变量不同或者依赖包缺失导致的。你可以先检查一下 spark-submit 命令的参数是否正确，包括主类、jar包路径、提交模式等等。另外，建议你在提交任务时指定 --master 参数，指定要使用的 Spark 集群地址。 如果以上问题都没有，可以尝试在提交任务时指定 --conf 参数，将环境变量通过该参数传递进去。比如： ``` spark-submit \ --class com.example.YourApp \ --master yarn \ --deploy-mode client \ --conf "spark.executorEnv.PYTHONPATH=$PYTHONPATH" \ your-app.jar ``` 最后，如果以上方法都没有解决问题，可以查看一下报错信息，看看是哪个依赖包缺失或者哪个配置项有误，然后在提交任务时加上相应的参数或者将缺失的依赖包添加到 CLASSPATH 中即可。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值