idea sbt java.lang.NoClassDefFoundError: org/apache/spark/SparkConf

最新推荐文章于 2024-03-08 09:31:00 发布
最新推荐文章于 2024-03-08 09:31:00 发布
阅读量5.6k 收藏 2
点赞数
文章标签： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Fuhaitao1979/article/details/73477285
版权

在用IntelliJ Idea 运行Spark程序的时候，发现idea sbt java.lang.NoClassDefFoundError: org/apache/spark/SparkConf 错误

 

解决办法:

 build.sbt文件中的

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.1.1" % "provide"

改成
 
libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.1.1" % "compile"

感谢网友黑眼圈@~@的提醒，改完后刷新一下，不然不生效

Fuhaitao1979
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/spark/SparkConf
01-07
敲黑板 ，引入的依赖 一定要 “compile” 或则 “runtime”，否则spark conf 无法初始化，这辈子也运行不了，千万不要是 “provided”. org.apache.spark spark-sql_2.11 ${spark.jar.version} compile 在一个maven项目中，如果存在编译需要而发布不需要的jar包，可以用scope标签，值设为provided。如下： javax.servlet.jsp jsp-api
【回顾】IDEA 开发 SparkSQL 基础编程
懂得一千零一种,赋予你失败的方法！
01-04 2419
文章目录1、添加依赖2、代码实现2.1 构建环境2.2 DataFrame的创建2.3 DataSet的创建2.4 RDD & DataFrame2.5 RDD & DataSet2.5 DataFrame & DataSet 1、添加依赖 当前热门的开发编辑器当属 IDEA 了，接下来介绍一下在该款开发工具中的使用。 首先我们需要为Spark-SQL模块导入依赖： <dependency> <groupId>org.apache.spark<..
Exception in thread “main“ java.lang.NoClassDefFoundError
weixin_59295776的博客
03-08 145
【代码】Exception in thread “main“ java.lang.NoClassDefFoundError。
spark 本地idea运行：java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession
小蚯蚓的博客
12-30 7959
一、问题原因 spark程序，编译的打包到jar，并且上传到Linux服务器提交spark任务都是没问题的，但是，本地运行spark程序的时候报错 java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2701
未找到依赖项 ‘org.apache.spark:spark-hive_2.11:2.4.5‘
鸭梨的博客
01-02 6062
idea pom刷新报错 未找到依赖项 'org.apache.spark:spark-hive_2.11:2.4.5' 找到对应的目录删除文件夹重新刷新导入即可 C:\Users\username\.m2\repository\org\apache\spark\spark-hive_2.11 总结 pom导入依赖错误就去对应文件夹删除依赖,然后重新导入,一般就能解决了 ...
在idea中pom.xml添加sparkSQL依赖
hzp666的博客
12-30 4937
在idea中 ,如果没有sparkSQL的依赖，需要现在pom.xml 中添加依赖， <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.12</artifactId> <version>3.0.3</version> </dependency> 如果不确定下载哪个版本，Apach.
spark 遇到NoClassDefFoundError解决方法： Apache Spark error on start: java.lang.NoClassDefFoundError: org/a...
a391000181的博客
12-04 2961
Starting a simple Spark project in IntelliJ Idea and getting an exception: Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/spark/SparkConfat …Caused by: java.lang.ClassNotF...
Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/spark/SparkConf
AnameJL的博客
09-18 5407
在本地调试运行spark程序时,报错Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/spark/SparkConf,这个错误就是程序在运行时找不到类 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkConf at cn.jin.spark.JavaLambdaWordCount.main(JavaLam
spark运行时出现错误Caused by: java.lang.ClassNotFoundException: org.apache.spark.rdd.RDD
石榴姐yyds
02-27 5360
1 报错信息 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession$ at Demo1_QuickStart$.main(Demo1_QuickStart.scala:7) at Demo1_QuickStart.main(Demo1_QuickStart.scala) Caused by: java.lang.ClassNotFoundException: org.a
spark java.lang.NoClassDefFoundError: org/apache/spark/SparkConf
u011939633的博客
10-15 1650
<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <version>${spark.version}</version> <!--<scope>provided</scope>--> </dependency> 所有org.apach
Spark本地调试报错
weixin_39347555的博客
04-23 310
Spark本地调试报错 1.错误日志 (1) Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkConf (2) Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SQLContext 2.解决方案 查看maven (或者sbt)的 配置文件，将<scope>标签注释掉,或者修
jitpack.io：https：jitpack.io的文档和问题
01-28
jitpack.io：https：jitpack.io的文档和问题
snzts:使用从Stats NZ网站抓取的数据的时间序列数据服务
03-30
新西兰公共统计时间序列数据的数据服务该存储... 可以通过以下方式在开发模式下运行： sbt run 默认情况下，该服务将在端口9000的localhost上可用。 例如： http://localhost:9000/snztshttp://localhost:9000/snzts/v1
spark-sbt.g8:Spark SBT项目的giter8模板
05-04
spark-sbt.g8 于Spark SBT应用程序的模板。用法使用Homebrew（ brew install sbt ）或SDKMAN安装SBT启动应用程序生成向导： sbt new MrPowers/spark-sbt.g8 在命令行上填写项目属性运行测试以确保正确生成了项目。 ...
sbt-pipeline.playframework.g8:游戏框架项目的模板
05-12
SBT管道Playframework.g8 该项目包含一个SBT模板，其中包含所有项目的管道模板。 该模板的主要目标是： 标准化项目 加快开发速度，使开发人员远离繁琐的配置 配置管道所需的工具 如何使用 使用此模板需要执行以下...
activator-sbt-bug
05-21
该项目展示了Activator和SBT之间的差异$ rm -rf ~ /.ivy2/cache/com.typesafe.sbtrc/$ sbt update...[warn] module not found: com.typesafe.sbtrc#actor-client-2-11;0.3.1[warn] ==== local: tried[warn] /Users/...
126邮箱页 html源码 单页源码 网站后台登陆界面HTML源码.zip
最新发布
04-23
126邮箱页 html源码 单页源码 网站后台登陆界面HTML源码
武汉开放数据创新大赛——烽火杯文件.zip
04-23
武汉开放数据创新大赛——烽火杯文件
mmexport1713881481676.png
04-23
mmexport1713881481676.png
Exception in thread "main" java.lang.NoClassDefFoundError: scala/Serializable
04-05
libraryDependencies += "org.scala-lang" % "scala-library" % "2.12.10" ``` This will include the Scala library in your project and make it available to the JVM at runtime. Alternatively, you can ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值