Spark 运行问题 java.lang.NoSuchMethodError: scala.Predef 解决方案

最新推荐文章于 2023-09-05 14:15:46 发布
最新推荐文章于 2023-09-05 14:15:46 发布
阅读量2.2k 收藏
点赞数
分类专栏： 大数据与机器学习 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cauchy8389/article/details/82586360
版权

idea中如果遇到这种问题，一般查找和spark匹配的scala版本就能解决 如果不能解决 请打开项目的iml文件，去掉不同版本的scala的orderEntry就能解决。

另在mac中通常会有问题no snappyjava in java.library.path

解决方案如下

1. 从maven center中下载snappy-java-1.x.x.x.jar 
2. unzip解压在路径org/xerial/snappy/native/Mac/x86_64中找到libsnappyjava.jnilib 
3. 修改名称：cp libsnappyjava.jnilib libsnappyjava.dylib 
4. 放到jvm中：sudo cp libsnappyjava.dylib /Library/Java/JavaVirtualMachines/jdk1.8.0_91.jdk/Contents/Home/jre/lib

重新运行应用就Ok了

海の云
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
解决 java.lang.NoSuchMethodError的错误
08-30
主要介绍了解决 java.lang.NoSuchMethodError的错误的相关资料,需要的朋友可以参考下
scala运行异常Exception in thread “main“ java.lang.NoSuchMethodError: scala.Predef$
dkdudus的博客
04-19 1140
使用intelli idea +scala+spark，运行程序代码如下： package big.data.analyse.mllib import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.mllib.fpm.FPGrowth object FP { def main(args: Array[String]) { val conf = new SparkConf().setMaster("local"
运行Spark时报错：java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object)
David_house的博客
06-14 1940
运行Spark报错： java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;) 我这里报错的原因是因为我是使用maven创建项目并添加scala框架支持来运行spark程序，我之前使用的scala版本为2.12的，我以为我已经改成了2.11的，结果路径中引入的还是2.12的，而maven中（pom.xml）引入的scala版本是2.11的，总之一句话，使用的scala版本和maven引入的版本不一致！把它们改一致
Spark 运行问题 java.lang.NoSuchMethodError 解决方案
qq_43667449的博客
03-30 2219
这里写自定义目录标题Spark 运行问题 java.lang.NoSuchMethodError 解决方案 Spark 运行问题 java.lang.NoSuchMethodError 解决方案 一般情况，出现这种问题是因为scala和spark的版本不匹配，需要重新下载两者相匹配的版本。 <!-- 在properties中添加Spark版本 --> <properties> <spark.version>2.3.3</spark.version
Spark 启动报错时报错 java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collect
H.king的博客
09-12 1642
今天在Spark测试时异常 报错 一直 提示 找不到 该方法 因为 本身代码量很小 而且  没有用到 错误提示的类  找了许久 才发现是 版本 对应问题 /Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/bin/java "-javaagent:/Applications/IntelliJ IDEA.app/Co...
java.lang.NoSuchMethodError: scala.runtime.ObjectRef.create(Ljava/lang/Object；)Lscala/runtime/Object
u011250186的博客
07-20 816
在使用spark进行开发时，本地运行成功，但是上传到集群发生如下错误： java.lang.NoSuchMethodError: scala.runtime.ObjectRef.create(Ljava/lang/Object;)Lscala/runtime/ObjectRef; 此问题是由于本地编译时用到的scala版本和Spark集群所用Scala版本不一致导致的，可以通过修改本地scala版本号进行解决。 打开Spark Job监控页面，默认端口是4040，点击environment，可以查.
解决启动Azkaban报错问题：java.lang.NoSuchMethodError: com.google.common.collect.ImmutableMap.toImmutableMap
10-15
主要介绍了启动Azkaban报错：java.lang.NoSuchMethodError: com.google.common.collect.ImmutableMap.toImmutableMap,需要的朋友可以参考下
java.lang.NoSuchMethodError: javax/servlet/jsp/PageContext.getELContext()Ljavax/
03-17
NULL 博文链接：https://albert0707.iteye.com/blog/562969
java.lang.NoClassDefFoundError: com/fasterxml/jackson/core/JsonProcessingExcepti
05-08
jackson-annotations-2.10.2.jar jackson-core-2.10.2.jar jackson-databind-2.10.2.jar NoClassDefFoundError解决
spark User class threw exception: java.lang.NoSuchMethodError
bitcarmanlee的博客
02-08 3444
在spark 集群上运行job的时候，经常会出现类似如下错误提示： User class threw exception: java.lang.NoSuchMethodError: org.apache.spark.WritableConverter$.writableWritableConverterFn(Lscala/reflect/ClassTag;)Lscala/Function0; at...
【Spark】项目导入报错：java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product；)V
懂得一千零一种,赋予你失败的方法！
03-25 3733
报错 Exception in thread "main" java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V at org.apache.spark.SparkConf$DeprecatedConfig.<init>(SparkConf.scala:809) at org.apache.spark.SparkConf$.<init>(SparkConf.scala:642) at org.a.
spark报错java.lang.NoSuchMethodError: org.apache.hadoop.security.authentication.util.KerberosUtil.hasK
蜗牛^_^的博客
06-26 3329
使用场景：通过spark的Structured Streaming消费kafka中指定topic的数据，将分析结果写入到hbase中 报错：java.lang.NoSuchMethodError: org.apache.hadoop.security.authentication.util.KerberosUtil.hasKerberosKeyTab(Ljavax/security/auth/S...
Exception in thread "main" java.lang.NoSuchMethodError: org.codehaus.commons.compiler.Location
u012543819的博客
11-05 4788
今天写sparksql 应用出现了这个问题：  Exception in thread "main" java.lang.NoSuchMethodError: org.codehaus.commons.compiler.Location.&lt;init&gt;(Ljava/lang/String;SS)V     at org.codehaus.janino.Scanner.location(...
Spark 运行问题 java.lang.NoSuchMethodError: scala.Predef 解决方案
qq_38250124的博客
07-31 630
spark 程序在idea本地跑没问题 但一旦打包jar 提交到集群 就报这个错 百度一下说是scala 版本的问题 ，检查了下maven pom spark scala scala-sdk jdk version 都非常匹配没有毛病啊 最后发现在 项目的 iml文件中 去掉不同版本的scala的orderEntry就能解决。只保留一个 通常我都是 spark 2.3.2 jdk1.8...
java.lang. NoSuchMethodError!org.codehaus.commons.compiler.Location
最新发布
arbalest1080的博客
09-05 213
org.codehaus.commons.compiler.Location没有这个方法，去找这个方法依赖的jar包。缺少这个依赖，有了这个依赖就能顺利写进去了。
spark报java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.defaultNumHeapArena()I
森屿旅人996的博客
07-13 1706
spark2.4.6与scala2.11.12运行程序过程中，遇到了netty版本冲突或包缺失导致程序出现NoSuchMethodError异常，报错如下： Exception in thread “main” java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.defaultNumHeapArena()I 20/07/13 12:50:55 INFO SecurityManager: SecurityManager: au
spark java.lang.NoSuchMethodError: org.codehaus.commons.compiler.Location.＜init＞(Ljava/lang/String；
hezzzzzzz的博客
11-24 1711
org.spark_project.guava.util.concurrent.ExecutionError: java.lang.NoSuchMethodError: org.codehaus.commons.compiler.Location.<init>(Ljava/lang/String;SS)V Jar包冲突还是什么版本的问题 <dependency> <groupId>org.codehaus.janino</groupId> .
spark升级——java.lang.NoSuchMethodError问题分析
wuhuimin900的博客
09-29 5858
Trouble shooting with java.lang.NoSuchMethodError Issue 背景 spark2.3引入了一些实用的新特性，如orc read/write optimization, bucket join with SQL, Continuous Processing等，由于业务需要使用部分新特性故筹备升级。将现网正在使用的spark版本上已经在的patch合并...
java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps
05-13
这个错误通常是由于 Scala 版本不兼容导致的，可能是您的代码使用了新版本的 Scala，而依赖库使用的是旧版本的 Scala。您可以尝试更新您的依赖库，或者降低您的 Scala 版本。如果您是使用 Maven 进行构建的，可以在 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值