Spark：Caused by: java.lang.ClassNotFoundException: scala.Product$class解决

最新推荐文章于 2022-05-19 20:32:02 发布
最新推荐文章于 2022-05-19 20:32:02 发布
阅读量2.3k 收藏 4
点赞数 2
分类专栏： spark 文章标签： maven spark
原文链接：https://blog.csdn.net/qq_38364053/article/details/93241146?utm_medium=distribute.pc_relevant_t0.none-task-blog-searchFromBaidu-1.control&dist_request_id=e50365ce-aee9-4e10-adb6-0d339e9ee4b9&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-searc
版权

今天使用Spark进行RDD操作，当我开始运行程序时，出现Caused by: java.lang.ClassNotFoundException: scala.Product$class，

我最后检查了下，发现我项目里面的spark-core版本和整个项目的scala版本不一致所导致的。

我用Maven构建的项目，pom.xml文件部分结构如下：

由于我之前出错的原因是：spark-core依赖我写的 spark-core_2.11 最后导致运行出错，这里的artifactId中的spark-core_2.12要和scala 2.12.0版本一致。
 

 

注意：需要检查所有的版本都必须一致

莫叫石榴姐
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark：java.lang.ClassNotFoundException: computePI$$anonfun$1
weixin_44546992的博客
12-07 523
使用IDEA远程提交jar到spark集群出错：java.lang.ClassNotFoundException: computePI$$anonfun$1 这个问题困扰了我很长时间，我大概花费了三四天的时间，不停的找问题，不停的找原因，经过不断的尝试才发现原因所在。 具体的报错信息如下： 20/12/07 08:32:33 WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, 172.17.0.3, executor 2): java.lan
Hive On Spark报错：Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/Iterable
pucao_cug的专栏
05-27 2万+
解决Hive On Spark 报错Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/Iterable
编译错误ava.lang.ExceptionInInitializerError at test.MybatisTest.testUpdateUser(MybatisTest.java:67) a
大哥的叔的博客
02-26 1万+
java.lang.ExceptionInInitializerError     at test.MybatisTest.testUpdateUser(MybatisTest.java:67)     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)     at sun.reflect.NativeMethodAcce...
java.lang.NoClassDefFoundError: scala/Product$class
Baron_ND的博客
07-27 6244
当我们使用依赖的时候，如果写错了，需要删掉重写导入一下，有的时候，就算你在maven里面重写引入一下 也不行，依赖删掉后在引入新的依赖 object FlinkSQL2Hbase { def main(args: Array[String]): Unit = { val env = ExecutionEnvironment.getExecutionEnvironment val batchEnv = BatchTableEnvironment.create(env) v.
问题解决Exception in thread “main“ java.lang.NoClassDefFoundError: scala/Product$class
OWBY_Phantomhive的博客
02-24 2565
在使用idea进行spark开发时遇到如下报错 Exception in thread "main" java.lang.NoClassDefFoundError: scala/Product$class at org.apache.spark.streaming.Duration.<init>(Duration.scala:22) at org.apache.spark.streaming.Seconds$.apply(Duration.scala:90) at streamingtes
Android Caused by: java.lang.ClassNotFoundException解决办法
08-31
"Android Caused by: java.lang.ClassNotFoundException解决办法" 在 Android 开发中，ClassNotFoundException 是一个常见的异常，它通常发生在应用程序启动或运行时。这个异常的出现告诉我们，Java 虚拟机无法找到...
Caused by: java.lang.ClassNotFoundException: org.objectweb.asm.Type异常
09-16
在这个特定的场景中，异常堆栈跟踪显示 `Caused by: java.lang.ClassNotFoundException: org.objectweb.asm.Type`，这表明在运行时，系统无法找到`org.objectweb.asm.Type`这个类。`org.objectweb.asm` 是一个用于...
Caused by: java.lang.ClassNotFoundException: org.apache.commons.collections.Transformer异常
08-18
在这个特定的场景中，异常堆栈跟踪显示了 `Caused by: java.lang.ClassNotFoundException: org.apache.commons.collections.Transformer`，这表明系统无法找到 `org.apache.commons.collections.Transformer` 类。...
Android 兼容性问题：java.lang.UnsupportedOperationException解决办法
08-31
"Android 兼容性问题：java.lang.UnsupportedOperationException解决办法" Android 兼容性问题：java.lang.UnsupportedOperationException解决办法是 Android 开发中常见的一种问题。该问题会导致应用程序崩溃，...
Exception in thread “main“ java.lang.NoClassDefFoundError: scala/Product$class
小蚯蚓的博客
12-02 3559
一、问题描述 Spark任务，通过输入参数配置灵活配置任务运行时间，但是，在一套新代码重报错 Exception in thread "main" java.lang.NoClassDefFoundError: scala/Product$class at scopt.OptionParser.<init>(options.scala:175) at com.common.RichOptionParser.<init>(RichOptionParser
IDEA运行Scala 错误: 找不到或无法加载主类 原因: java.lang.ClassNotFoundException:
weixin_48175298的博客
07-17 8488
1.问题描述 如图所示，在开发中使用JDK11 Scala2.11出现如下问题。 2.解决问题 网上查资料得知，可能是因为Java和Scala版本不兼容，于是将JDK换成JDK1.8 Scala仍然是2.11。 然后检查JDK，IDEA Scala插件，Scala SDK是否配置正确，主要是查看系统环境变量是否配置正确。在IDEA中点击File->Project Structure->Global Libaries 中JDK Scala SDK是否引入。 确认完...
Caused by: java.lang.ClassNotFoundException常见异常解决方法
关注我看更多东西
05-19 7万+
常见的Caused by: java.lang.ClassNotFoundException异常原因
java.lang.ClassNotFoundException：如何解决
最佳 Java 编程
05-13 7万+
本文适用于当前面临java.lang.ClassNotFoundException挑战的Java初学者。 它将为您提供此常见Java异常的概述，这是一个示例Java程序，可支持您的学习过程和解决策略。 如果您对与更高级的类加载器相关的问题感兴趣，我建议您复习有关java.lang.NoClassDefFoundError的文章系列，因为这些Java异常密切相关。 java.lang...
Caused by: java.lang.ClassNotFoundException常见异常解决方法！
热门推荐
随风
03-23 14万+
常见的Caused by: java.lang.ClassNotFoundException异常原因：ClassNotFoundException属于checkException（检查异常），一般在项目启动的时候出现。出现该问题原因归纳为：1. 没有正确的导入jar导致。2. 项目中引用了多个版本的jar，导致版本冲突，由于版本的升级，可能所使用的方法已经被废弃。3. 由于系统中加载web.xml...
spark和scala版本对应关系
qq_41669665的博客
06-23 4264
参考资料：https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11 https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.12?__cf_chl_jschl_tk__=8dd03c607c8e97e5db0e988e5fc8c6ddb6f9952d-1592894813-0-AaK_Qsxm0REfQWrRUDNVE29T2_dmbMCde9...
Spark与Scala版本兼容问题 及 Spark与Scala解压安装 Spark Shell编写代码 编写独立应用程序执行词频统计 编写Scala应用程序
qq_39968384的博客
05-13 1728
Spark与Scala版本兼容问题： Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）。 请注意，自Spark 2.2.0起，对2.6.5之前的Java 7，Python 2.6和旧Hadoop版本的支持已被删除。自2.3.0起，对Sc...
scala程序报java.lang.ClassNotFoundException
墨殇
06-14 6547
Exception in thread "main" java.lang.ClassNotFoundException: src.main.scala.com.practice.com.day05._03GenericOps at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoade...
Caused by: java.lang.ClassNotFoundException: scala.Product$class
最新发布
10-25
Scala是一种基于JVM的编程语言，Spark是用Scala编写的，因此在使用Spark时需要确保Scala库已正确导入。您可以按照引用中提供的方法，将以下依赖项添加到您的项目中： <groupId>org.scala-lang <artifactId>scala-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值