Windows上的Spark环境搭建后，运行时报错的问题

最新推荐文章于 2023-05-12 15:24:15 发布

啦啦啦___123

最新推荐文章于 2023-05-12 15:24:15 发布

阅读量480

点赞数

分类专栏： Debug记录、编程小技巧文章标签： spark debug

本文链接：https://blog.csdn.net/hhr603894090/article/details/105068133

版权

在Windows上搭建Spark环境后，进行贝叶斯分类测试时遇到NoSuchMethodError。尝试了匹配不同版本的Spark、Scala、Hadoop和winutils，以及更新jar包，问题依然存在。后来通过修改janino版本成功解决错误，并推荐使用maven helper来直观检查jar包冲突。

摘要由CSDN通过智能技术生成

搭建好环境后，命令行没有问题，测试HanLP的时候没错，但是在测试贝叶斯分类的时候报错：

java.lang.NoSuchMethodError: org.apache.spark.util.Utils$.getSimpleName(Ljava/lang/Class;)Ljava/lang/String;
    at org.apache.spark.ml.util.Instrumentation.logPipelineStage(Instrumentation.scala:52)
    at org.apache.spark.ml.classification.NaiveBayes$$anonfun$trainWithLabelCheck$1.apply(NaiveBayes.scala:130)
    at org.apache.spark.ml.classification.NaiveBayes$$anonfun$trainWithLabelCheck$1.apply(NaiveBayes.scala:129)
    at org.apache.spark.ml.util.Instrumentation$$anonfun$11.apply(Instrumentation.scala:183)
    at scala.util.Try$.apply(Try.scala:192)
    at org.apache.spark.ml.util.Instrumentation$.instrumented(Instrumentation.scala:183)
    at org.apache.spark.ml.classification.NaiveBayes.trainWithLabelCheck(NaiveBayes.scala:129)
    at org.apache.spark.mllib.classification.NaiveBayes.run(NaiveBayes.scala:373)
    at org.apache.spark.mllib.classification.NaiveBayes