Spark的scala版本和sbt的scala版本不同打包提交运行失败

最新推荐文章于 2022-06-15 11:16:13 发布
最新推荐文章于 2022-06-15 11:16:13 发布
阅读量1.7k 收藏
点赞数 1
分类专栏： 大数据学习 文章标签： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37129669/article/details/88427382
版权

在提交sbt的jar包到Sprak运行时：
报异常：

Caused by: java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/LambdaDeserialize
	at SimpleApp$.$deserializeLambda$(SimpleApp.scala)
	... 60 more
Caused by: java.lang.NoClassDefFoundError: scala/runtime/LambdaDeserialize
	... 61 more
Caused by: java.lang.ClassNotFoundException: scala.runtime.LambdaDeserialize
	at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	... 61 more

原因是 scala版本不匹配问题
Spark使用的2.4.0版本：官方文档中说

Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.0使用Scala 2.11。您需要使用兼容的Scala版本（2.11.x）。

本地scala包是2.12.8 不匹配

将* build.sbt*中的scala版本改为2.11即可

南风剑声
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
启动spark-shell提示scala版本不一致的解决
lda_ming的专栏
02-19 5922
spark版本：1.3.1 scala版本：2.10.5 前段时间为了折腾scala IDE环境，对配置文件进行了折腾，最后不知道修改了哪个配置，今天想启动spark-shell发现提示错误，错误信息如下： error:       while compiling:         during phase: namer      library version: version 2
Scala开发规范_最新版本
08-09
以下基于最新版本的Scala开发规范，将详细阐述关键知识点： 1. **类型系统** - 强类型：Scala是强类型语言，每个变量都有明确的类型。 - 类型推断：编译器能够自动推断大部分类型的声明，简化代码。 - 泛型：...
sbt/scala/scalatest版本关系
lingyeran的博客
06-14 2911
一般情况下，sbt与scala sbt 0.13 --》Scala 2.10 sbt 1.x --》 Scala 2.12
手动安装Scala以及编译工具sbt(Mac)
fxtxz2的专栏
06-15 753
mac上面手动安装scala
SBT 项目的跨版本编译
追寻真理之美
05-15 900
近期的工作中，需要在 Spark 任务中做一些字符串处理。但比较尴尬的是，过去的 Jaskell Core，我一直是以 2.13 为目标开发的，而现在 Spark的各种发布版，普遍使用的是 2.11 和 2.12 。 再专门为 2.11 和 2.12 编写独立的项目，就非常不经济了，这个时候，要把 Jaskell 变成跨版本项目。 SBT 通过 cross version 设置支持跨版本。我们首先设定 supportScalaVersions ： lazy val scala213 = "2.13.
详解如何使用Spark和Scala分析Apache访问日志
08-25
详解如何使用Spark和Scala分析Apache访问日志 本文主要介绍了使用Spark和Scala来分析Apache访问日志的方法，涵盖了安装Spark和Scala、使用Scala编写Apache访问日志分析器、使用Spark分析Apache访问日志等内容。 ...
大数据资源整合，基于Cent不需要考虑版本兼容的问题Spark+Hadoop+Hive+Scala+sbt+ZooKeeper
最新发布
09-17
本方案集成了CentOS环境下的Spark、Hadoop、Hive、Scala、sbt和ZooKeeper,无需考虑版本兼容问题,可以直接用于大数据处理和分析。 【适合人群】 需要在CentOS下搭建大数据处理平台的工程师。 【包含内容】 - Spark ...
在IntelliJ IDEA中创建和运行java/scala/spark程序的方法
08-19
在IntelliJ IDEA中创建和运行Java、Scala和Spark程序的基本概念和步骤如下： IntelliJ IDEA是一款功能强大的Java集成开发环境（IDE），由JetBrains公司开发，它支持多种编程语言和框架，包括Java、Scala和Apache ...
Spark3.2教程（前置）关于Spark3.2.0与Scala版本的坑
Java朱老师博客
12-24 5826
        搭建和使用最新版的Spark3.2.0，在版本上踩了很多坑，特此记录一下，避免后来者犯错。 首先看下图，即官网下载Spark的版本选择上的红框介绍：         这里介绍了Spark3用的是Scala2.12，Spark3.2+用的是Scala2.13，但是如果下载下来会发现，该包下的Scala版本是2.12.15，如下图所示：
SpringBoot_异常_01_Caused by: java.lang.BootstrapMethodError: java.lang.NoSuchMethodError
weixin_34029949的博客
03-12 1227
一、异常信息 org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'gsonBuilder' defined in class path resource [org/springframework/boot/autoconfigu...
java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: com/jcraft/jsch/Session
听香水榭
06-08 1431
sftp问题处理
【Flink】 java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction1$mcVI$
qq_32495629的博客
12-08 1579
java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction1$mcVI$sp at com.xxx$$anon$4.createSerializer(lesson1.scala:50) at org.apache.flink.streaming.util.typeutils.FieldAccessor$RecursiveProductFieldAccessor.<ini.
Ubuntu下为Spark安装配置sbt
程序必须为人类阅读而编写，并且仅仅碰巧可以让机器执行
12-22 3679
文章目录一、下载sbt二、配置sbt三、使用sbt编译打包Scala程序四、总结 一、下载sbt 需要下载的文件名为 sbt-launch.jar，下载链接如下：https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.11/sbt-launch.jar，点进去等一下就会弹出下载界面。 二、配置sbt 在 /usr/local/ 目录下创建 sbt 文件夹，并赋予 hadoop 用户相关权限： cd /us
java.lang.NoClassDefFoundError错误产生的原因及解决方案（一种方案）
热门推荐
小菜鸡的博客
10-12 10万+
NoClassDefFoundError 最近在使用 Redisson 框架实现分布式锁的时候，在项目启动之后，报错： 类的定义没有找到， 根本原因是 ClassNotFoundException , 但是在编译的时候，并没有报错，运行本地的测试类来进行创建对应的对象也没有问题 创建的测试类如下， import org.junit.Test; import org.redisson.Redisso...
java.lang.NoSuchMethodError: org.springframework.core.io.ResourceEditor错误
码农的幸福生活
04-22 1万+
一般是jar包冲突，或者某些jar包版本不同。 如上，spring其他包的版本均为4.2.5，而spring-webmvc的jar包为1.2.6版本，造成版本冲突。 把该包版本改为4.2.5，宣告成功！
java.lang.NoSuchMethodError 错误的原因及解决办法
落云阁
11-01 5万+
不多说，先贴上错误=========== 详细： org.springframework.context.ApplicationContextException: Unable to start embedded container; nested exception is java.lang.NoSuchMethodError: org.apache.tomcat.util.scan.Sta
遇到 java.lang.NoSuchMethodError的解决办法，路径带L
qq_37516425的博客
06-10 2154
出现这样的错误 java.lang.NoSuchMethodError: 解决办法是把所有的maven清理，在重新install 还有所有jar包版本冲突，目前没遇到过 里面还有类会带L 比如Lcom/taotao/pojo/string/ 这里的L是正常情况，是反射就会带L
Spark代码提交到Yarn报错：java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8
大数据跟我学i
03-19 1475
保存信息： ERROR Client: Application diagnostics message: User class threw exception: java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction2$mcIII$sp at com.czxy.WordCount_Spark$.main(WordCount_Spark.scala:29)
将ExtractionData.scala打包提交给spark运行
03-04
我可以回答这个问题。首先，您需要使用sbt或maven将ExtractionData.scala编译成jar文件。然后，您可以使用spark-submit命令将jar文件提交给Spark运行。具体命令如下： spark-submit --class com.example.ExtractionData --master spark://your-spark-master:7077 path/to/your/jar/file.jar 其中，--class参数指定了您的主类，--master参数指定了Spark的主节点地址，path/to/your/jar/file.jar是您编译好的jar文件的路径。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值