spark-submit 报 NoClassDefFoundError 解决

最新推荐文章于 2024-07-10 08:00:00 发布
最新推荐文章于 2024-07-10 08:00:00 发布
阅读量1.1w 收藏 4
点赞数 1
分类专栏： Spark-疑难杂症 文章标签： exception Spark Scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013054888/article/details/54600229
版权
当使用spark-submit提交Scala App时遇到NoClassDefFoundError异常，问题源于Scala版本不一致。解决方法是将系统Scala库和编译时使用的Scala版本更改为与Spark 2.0.2匹配的2.11.8。通过检查$SPARK_HOME/jars下的jar包确定Spark所对应的Scala版本。
摘要由CSDN通过智能技术生成

spark-submit 报 NoClassDefFoundError 解决

报错信息

在使用 spark-submit 提交 scala App 的时候，报出了一下异常，而 代码就简单的调用了一下 map() 方法：

Exception in thread "main" java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction1$mcII$sp
    at com.henvealf.spark.learn.mapPartitonsTest$.main(mapPartitonsTest.scala:33)
    at com.henvealf.spark.learn.mapPartitonsTest.main(mapPartitonsTest.scala)
    at sun
最低0.47元/天 解锁文章
以浪为码
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
spark-submit提交Spark Streamming+Kafka程序
主要分享大数据相关的知识，如Spark、Hudi
06-28 3250
转载请务必注明原创地址为：https://dongkelun.com/2018/06/19/sparkSubmitKafka/ 前言 Spark Streaming本身是没有Kafka相关的jar包和API的，如果想利用Spark Streaming获取Kafka里的数据，需要自己将依赖添加SBT或Maven项目中，添加依赖更新项目之后，就可以在Eclipse等IDE里直接运行Spark St...
【spark-shell本地启动报java错误】本地windows安装spark在控制台输入spark-shell出错：StringIndexOutOf Bounds Exception
gdhbc的博客
05-28 825
前提：本地java、hadoop已经安装好，但本地cmd启动spark-shell报出下面错误，我的配置是hadoop2.7、spark-2.3.1。 提示:没有配置好hadoop、spark(两者版本有联系，有对应)请先在本地安装好hadoop、spark。 出错原因：本地java版本过高. 处理方法：降低java版本到java8。如果不想影响你之前的java环境配置，你可以在本地多安一个java，想用哪个就到环境变量里面修改路径即可。 java8百度云资源： 链接: https://pan.b
关于spark-submit之后，报错NoClassDefFoundError
Hiwes的博客
05-07 2815
NoClassDefFoundError：org.apache.hadoop.hdfs.server.namenode.NameNode这个问题，困扰了我五天时间，之前使用Eclispe打包之后，在云服务器上面运行。首先报错java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration。随之采取的操作是：将$HB...
spark 遇到NoClassDefFoundError解决方法： Apache Spark error on start: java.lang.NoClassDefFoundError: org/a...
a391000181的博客
12-04 3299
Starting a simple Spark project in IntelliJ Idea and getting an exception: Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/spark/SparkConfat …Caused by: java.lang.ClassNotF...
Spark提交任务参数全面解析
最新发布
weixin_42326851的博客
07-10 3391
Spark提交任务参数全面解析
spark-streaming连接kafka报错 java.lang.NoClassDefFoundError: kafka/common/TopicAndPartition
VictorKa的博客
05-12 1731
等
spark中实现ansj遇到NoClassDefFoundError错误
csdn_chuxuezhe的博客
01-17 814
目的：在spark是实现ansj中文分词功能。 错误：总是报错19/01/17 16:23:08 INFO scheduler.DAGScheduler: ResultStage 0 (foreach at demo.scala:17) failed in 9.567 s due to Job aborted due to stage failure: Task 0 in stage 0.0 f...
spark-submit 报错：NoClassDefFoundError: scala/runtime/java8/JFunction1$mcII$sp
qq_36835255的博客
05-08 2880
spark版本：2.4.0 用 spark-submit 提交任务到 yarn 报错 ： 错误显示是 scala 环境中找不到某个类，应该是 jar 包的 scala 编译环境和 spark 的 scala 环境版本不一致。 spark 的 scala 版本为 ： 2.11.12 而我的 sbt 编译的 scala 版本为 ： 2.12 那么把 sbt 的 scala 版本改为 2.11.1...
Spark 2.3.1 执行报错: NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig
张伯毅的专栏
05-13 4931
版本 Hadoop : 3.1.3 Spark : 2.11-2.3.1 执行命令: spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ --driver-memory 4g \ --executor-memory 2g \ --executor-cores 1 \ /opt/spar...
关于spark-submit报错java.lang.NoClassDefFoundError: scala/runtime/LambdaDeserialize
Clockworkai's Blog
04-23 7441
解决方案写在前面：将 Scala 的版本改成 2.11.8，环境是 Spark 2.1.0 。
启动spark-shell或执行spark-submit失败的问题
u014005893的博客
09-11 3826
启动spark-shell或执行spark-submit失败的问题 楼主搭建了一套CDH大数据平台，其中包括Spark2服务，近来在终端启动spark-shell以及利用spark-submit提交任务时，分别报以下错误： [root@cdh0 ~]# spark-shell Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream at org.apac
spark报错java.lang.NoClassDefFoundError: org/apache/spark/internal/Logging
行路者
04-10 7355
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/internal/Logging at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(ClassLoader.ja...
spark本地测试报错：java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSessio
博客
08-05 2657
spark maven项目本地测试报错： Error: A JNI error has occurred, please check your installation and try again Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession 原因是我在pom文件里引入的sparksql依赖加了<scope>provided</scope>标签
spark submit提交任务报错Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/spark/stream
小蚯蚓的博客
09-25 9235
1.问题描述 提交spark任务： bin/spark-submit --master local[2] \ --class _0924MoocProject.ImoocStatStreamingApp_product \ /opt/datas/project/scalaProjectMaven.jar \ bigdata.ibeifeng.com:2181/kafka08 test str...
spark执行start-master.sh 报错java.lang.NoClassDefFoundError: org/apache/log4j/spi/Filter
iMatt的专栏
05-17 1709
错误原因： 没找到log4j相关类 导致没找到log4j的原因： 1、hadoop中含有log4j的JAR包 2、使用的是spark-3.1.3-bin-without-hadoop.tgz版本，需要手动指定hadoop的classpath。 解决方法： 打开$(SPARK_HOME)/ect/spark-env.sh。在文档的合适位置（如开始几行）添加如下变量（其中hadoop换成自己的路径） export SPARK_DIST_CLASSPATH=$(/usr/soft/hado
<scope>provided</scope> 关于maven依赖中的scope的作用和用法
热门推荐
站在风口上的猪
07-16 5万+
举例如下： &lt;dependency&gt;             &lt;groupId&gt;org.springframework.boot&lt;/groupId&gt;             &lt;artifactId&gt;spring-boot-starter-tomcat&lt;/artifactId&gt;             &lt;scope&gt;provi...
安装spark 后 NoClassDefFoundError
dianxiang0791的博客
08-15 236
安装spark后，hive报 java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/InputFormat trace 看是sqoop 抛出 注释/etc/profile.d/hadoop_path.sh 转载于:https://www.cnblogs.com/buxizhizhoum/p/11360018....
spark启动spark-shell报错
04-29
当启动Spark Shell时，可能会遇到各种错误。以下是一些常见的错误和解决方法： 1. 错误：`java.lang.OutOfMemoryError: Java heap space` 解决方法：增加堆内存大小。可以通过设置`spark.driver.memory`和`spark.executor.memory`来增加内存大小。例如，可以使用以下命令启动Spark Shell： ``` spark-shell --driver-memory 4g --executor-memory 4g ``` 2. 错误：`java.lang.ClassNotFoundException: org.apache.spark.sql.hive.HiveContext` 解决方法：这个错误通常是由于缺少Hive相关的依赖库引起的。请确保在启动Spark Shell时包含了正确的Hive依赖。例如，可以使用以下命令启动Spark Shell： ``` spark-shell --packages org.apache.spark:spark-hive_2.12:3.1.2 ``` 3. 错误：`java.lang.IllegalArgumentException: requirement failed: Can only call getServletHandlers on a running MetricsSystem` 解决方法：这个错误通常是由于Spark配置文件中的一些错误引起的。请检查`spark-defaults.conf`文件中的配置项是否正确，并确保Spark的配置文件没有任何语法错误。 4. 错误：`java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream` 解决方法：这个错误通常是由于缺少Hadoop相关的依赖库引起的。请确保在启动Spark Shell时包含了正确的Hadoop依赖。例如，可以使用以下命令启动Spark Shell： ``` spark-shell --packages org.apache.hadoop:hadoop-client:3.2.0 ```
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值