Spark 运行问题 java.lang.NoSuchMethodError: scala.Predef 解决方案

最新推荐文章于 2022-05-31 19:07:57 发布
最新推荐文章于 2022-05-31 19:07:57 发布
阅读量2.2k 收藏
点赞数
分类专栏： 大数据与机器学习 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cauchy8389/article/details/82586360
版权

idea中如果遇到这种问题，一般查找和spark匹配的scala版本就能解决 如果不能解决 请打开项目的iml文件，去掉不同版本的scala的orderEntry就能解决。

另在mac中通常会有问题no snappyjava in java.library.path

解决方案如下

1. 从maven center中下载snappy-java-1.x.x.x.jar 
2. unzip解压在路径org/xerial/snappy/native/Mac/x86_64中找到libsnappyjava.jnilib 
3. 修改名称：cp libsnappyjava.jnilib libsnappyjava.dylib 
4. 放到jvm中：sudo cp libsnappyjava.dylib /Library/Java/JavaVirtualMachines/jdk1.8.0_91.jdk/Contents/Home/jre/lib

重新运行应用就Ok了

海の云
关注
专栏目录
IDEA spark 中scala的编译版本问题解决NoSuchMethodError （jvm ）
段智华的博客
05-04 2万+
Spark IDEA集成环境开发时，pom文件新安装了一些jar包，没注意到其中scala的版本被替换了，运行一个测试程序提示这个：Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayO
Java或者Scala运行环境版本不一致报错纠正（bug调优）
wyqwilliam的博客
07-19 1610
运行Java时报错： Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;     at org.apache.spark.util.Utils$.getCallSite(Ut...
scala运行异常Exception in thread “main“ java.lang.NoSuchMethodError: scala.Predef$
dkdudus的博客
04-19 1260
使用intelli idea +scala+spark，运行程序代码如下： package big.data.analyse.mllib import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.mllib.fpm.FPGrowth object FP { def main(args: Array[String]) { val conf = new SparkConf().setMaster("local"
Spark 运行问题 java.lang.NoSuchMethodError: scala.Predef 解决方案
qq_38250124的博客
07-31 647
spark 程序在idea本地跑没问题 但一旦打包jar 提交到集群 就报这个错 百度一下说是scala 版本的问题 ，检查了下maven pom spark scala scala-sdk jdk version 都非常匹配没有毛病啊 最后发现在 项目的 iml文件中 去掉不同版本的scala的orderEntry就能解决。只保留一个 通常我都是 spark 2.3.2 jdk1.8...
java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V设置对应的scala版本
weixin_34162401的博客
03-26 1391
运行spark测试程序出现如下错误信息： Exception in thread "main" java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V at org.apache.spark.SparkConf$DeprecatedConfig.<init>(SparkConf.scala:809...
java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product；)V
微电子学与固体电子学-俞驰
08-10 1848
百度上说是scala版本和pom.xml中的scala版本不一致的问题 由于pom.xml中包含2.12的数据，所以需要下载2.12的sdk <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>3.0.0</version> </depen.
NoSuchMethodError:
Mr Huo
01-11 1360
报错信息如下 Exception in thread &amp;quot;main&amp;quot; java.lang.NoSuchMethodError: scala.Predef$.$conforms()Lscala/Predef$$less$colon$less; at org.apache.spark.util.Utils$.getSystemProperties(Utils.scala:1722) at org.a...
IDEA上Spark——Java、Scala的本地测试版与集群运行版
王某的博客
11-23 8684
Java本地测试 先放出代码中各类注释 代码以及源码地址 遇见的问题 打包jar到集群测试 Scala本地测试 源码 遇见的问题 Scala打包到集群测试 源码以及地址 遇见的问题 参考资源Java本地测试2017/11/131.先放出代码中各类注释（由于初次学习，为方便以后复习或查阅，注释较多。为避免代码太“冗余”故将部分注释分出来。） 注释i )、 每个Spark应用程序都由一个驱动
运行Spark时报错：java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object)
David_house的博客
06-14 2277
运行Spark报错： java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;) 我这里报错的原因是因为我是使用maven创建项目并添加scala框架支持来运行spark程序，我之前使用的scala版本为2.12的，我以为我已经改成了2.11的，结果路径中引入的还是2.12的，而maven中（pom.xml）引入的scala版本是2.11的，总之一句话，使用的scala版本和maven引入的版本不一致！把它们改一致
【Spark】项目导入报错：java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product；)V
懂得一千零一种,赋予你失败的方法！
03-25 3905
报错 Exception in thread "main" java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V at org.apache.spark.SparkConf$DeprecatedConfig.<init>(SparkConf.scala:809) at org.apache.spark.SparkConf$.<init>(SparkConf.scala:642) at org.a.
【问题】java.lang.NoSuchMethodError: scala.Product.$init$
weixin_34205076的博客
11-17 982
运行Spark任务，报错java.lang.NoSuchMethodError: scala.Product.$init$…… 选择File -> Project Struture Global Libraries中设置了编译版本等与代码中所引用的Scala版本一致 代码中使用的Scala版本（在我的环境中使用的scala版本是2.11....
运行spark demo时出现java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)
热门推荐
kiikgu的专栏
08-31 1万+
原因: maven引入的spark相关包版本是2.10，而scala－sdk版本是2.12 解决：两者统一，都使用2.11 更换工程scala-sdk版本：右键工程名称 -> Open Model Settings
（scala 版本不匹配的问题）java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V
weixin_43520450的博客
05-13 5628
一、问题 之前运行Spark core完全没问题，到Spark SQL就开始报错，看百度上说是scala和spark的版本对不上 。 提示错误如下： ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0) java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V Using Spark's default log4j profile: org/apache/spark
Exception in thread “main“ java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product；)V解决方法
xlpda的博客
05-31 2748
在学习scala时遇到如下报错 Exception in thread "main" java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V at org.apache.spark$DeprecatedConfig<init>(Sparkconf.scala:799) at org.apache.spark$Conf<init>(Sparkconf.scala:799) at org.apache.
【运行spark-sql报错】:java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V 解决办法
CanonL
11-22 7831
先贴具体错 1.疑问 之前运行spark-core的内容有点错误没有 怎么一到sql就开始报错 百度看是scala版本对不上 所以着重对这方面的检查. 直到我看到pom.xml文件得配置.....大概就知道是什么原因了 <dependency> <groupId>org.apache.spark</groupId&...
java.lang.NoSuchMethodError: scala.runtime.ObjectRef.create(Ljava/lang/Object；)Lscala/runtime/Object
u011250186的博客
07-20 872
在使用spark进行开发时，本地运行成功，但是上传到集群发生如下错误： java.lang.NoSuchMethodError: scala.runtime.ObjectRef.create(Ljava/lang/Object;)Lscala/runtime/ObjectRef; 此问题是由于本地编译时用到的scala版本和Spark集群所用Scala版本不一致导致的，可以通过修改本地scala版本号进行解决。 打开Spark Job监控页面，默认端口是4040，点击environment，可以查.
Spark 启动报错时报错 java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collect
H.king的博客
09-12 1702
今天在Spark测试时异常 报错 一直 提示 找不到 该方法 因为 本身代码量很小 而且  没有用到 错误提示的类  找了许久 才发现是 版本 对应问题 /Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/bin/java "-javaagent:/Applications/IntelliJ IDEA.app/Co...
scala报错先查看版本是否匹配 错误信息：java.lang.NoSuchMethodError: scala.math.Ordered.$init$(Lscala/math/Ordered；)V
weixin_51958247的博客
06-08 269
解决办法： 1、查看项目依赖的版本 2.查看导入scala依赖包和本地的版本 如果上面的版本有一个不对，就都要都要改成相同的版本
java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps
最新发布
05-13
这个错误通常是由于 Scala 版本不兼容导致的，可能是您的代码使用了新版本的 Scala，而依赖库使用的是旧版本的 Scala。您可以尝试更新您的依赖库，或者降低您的 Scala 版本。如果您是使用 Maven 进行构建的，可以在 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值