Spark学习:编译Spark项目时遇到的报错

我爱夜来香A

已于 2023-03-11 14:57:38 修改

阅读量1.2k

点赞数

分类专栏： Spark 文章标签： spark 学习大数据

于 2022-07-30 10:34:51 首次发布

本文链接：https://blog.csdn.net/nzbing/article/details/126068940

版权

Spark 专栏收录该内容

26 篇文章 8 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

在学习Spark过程中，遇到了编译错误，包括'object SparkSession is not a member of package org.apache.spark.sql'和'java.lang.NoSuchMethodError:scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;'.错误原因可能是Scala版本不匹配。解决办法是确保pom.xml文件中Scala版本与SDK版本一致，例如将flink_table_2.11替换为flink_table_2.12，从而消除编译问题。

摘要由CSDN通过智能技术生成

一、object SparkSession is not a member of package org.apache.spark.sql
解决方案:

SparkSession是spark-sql的一部分,需要在pom.xml中添加如下内容
 <dependency>
     <groupId>org.apache.spark</groupId>
     <artifactId

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

我爱夜来香A

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

Spark学习:Win10中编译Spark源码

nzbing的博客

05-08

1249

编译Spark源码一、环境准备二、编译三、IDE导入执行SparkPi.scala 一、环境准备 1、JDK1.8 2、scala 2.12.15 3、maven 3.8.5 3、Spark3.2.1 spark官网下载最新的sourcecode 二、编译 1、打开源码父pom.xml修改scala/maven/java对应版本 2、在cmd/powershell移动到源码目录中父pom.xml所在目录 mvn -DskipTests clean package //使用mvn跳过单元测试编译

Spark学习:为Sparksql添加自定义命令

nzbing的博客

05-08

749

编译Spark源码一、修改SqlBase4添加语法规则二、 Maven编译antlr三、修改SqlParsqlParser.scala中四、运行一、修改SqlBase4添加语法规则 #修改四处 statement | SHOW VERSION #showVersion ansiNonReserved | VERSION nonReserved | VERSION //--SPARK-KEYWOR

参与评论您还未登录，请先登录后发表或查看评论

spark编译及运行常见错误

zyj8170的专栏

03-27

3157

### spark 下载 http://spark.apache.org/downloads.html ### 前提准备 # 安装 JDK，mvn 和 scale，并设置对应的JAVA_HOME,MVN_HOME 和 SCALA_HOME ### Spark 编译（参考 http://spark.apache.org/docs/latest/bui

Spark编译报错问题日志记录

sdujava2011

01-26

1129

能生成spark-assembly-1.5.1-hadoop2.6.0.jar之后报错 [warn] Strategy 'discard' was applied to 3 files [warn] Strategy 'first' was applied to 247 files [info] Assembly up to date: D:\dev\spark-1.5.1\assembly

spark编译报错信息简介

weixin_30323961的博客

08-11

132

spark编译需要环境 git java1.7+ maven R 报错信息1： [INFO] ------------------------------------------------------------------------ [INFO] BUILD FAILURE [INFO] --------------------------------------...

编译 Apache Spark 源码报错？那是因为你漏掉了关键操作

Shockang的博客

01-11

4748

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系正文源码准备下载 Apache Spark 源码打开 IDEA，如下操作：如下操作，输入： git@github.com:apache/spark.git 项目构建下载完成后，等 maven 自动构建完成（可以手动 add as maven project）这时细心的伙伴会发现程序中有错误

spark编译打包

bingo_liu的博客

06-08

1610

用maven编译打包spark2.1.1

Hive On Spark报错：Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/Iterable

热门推荐

pucao_cug的专栏

05-27

2万+

解决Hive On Spark 报错Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/Iterable

Spark学习:实现Compact table command

nzbing的博客

05-21

223

要求:添加添加 compact table 命令，用于合并小文件一、修改SqlBase.g4 #statement下添加 | COMPACT TABLE target=tableIdentifier partitionSpec? (INTO fileNum=INTEGER_VALUE FILES)? #compactTable #ansiNonReserved下添加 | FILES #nonReserved下添加 | FILES --keywords list

[IDEA运行spark|spark sql出错]Error:(4, 8) object SparkConf is not a member of package org.apache.spark

NBA首席形象大使坤坤

04-07

1498

**原因：**实际上问题的根本原因，是因为spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly.jar已经不存在。原来的 jar包分解为：jars/.jar 解决办法：到Saprk官网下载spark安装包，然后解压spark，将jars下的所有jar包添加到项目lib中。 spark下载地址：https://archive.apache.org/dist/spark/ 解压后将jars目录放到自己熟悉的地方，然后在IDEA中为项目添加l.

idea spark编译出现error：object Apache is not a member of package org

weixin_43638075的博客

09-14

7942

在创建一个maven工程后将工程打成jar包时出现如下错误再三确认pom.xml文件无误后，只能逐个排除问题，最后发现有可能是因为maven仓库的路径存在中文问题（因为默认安装在了user目录下,而我的用户名恰好是中文）解决方法，复制 .m2文件到没有空格没有中文的路径下，重新指定maven的仓库好了成功解决。 ...

object streaming is not a member of package org.apache.spark_解决方式_路漫漫远俢兮

路漫漫远修兮

06-08

1752

报错如下：遇到这个错误当时就蒙了，导包也能出错原因：在.sbt配置文件中少了% "provided"部分，完整如下： libraryDependencies += "org.apache.spark" % "spark-streaming_2.12" % "2.4.5" % "provided" 使用maven打包的参考官方连接： http://spark.apache.org/docs/latest/streaming-programming-guide.html#a-quick-examp

大数据【Scala】【Spark SQL】error: object read is not a member of package org.apache.spark

sunshine77_的博客

03-11

5595

1. 在创建DataFrame的时候出现了一个问题 scala> val df3 = spark.read.json("/usr/local/tmp_files/people.json") <console>:17: error: not found: value spark val df3 = spark.read.json("/usr/l...

[bug解决] IDEA spark编译出现error：object Apache is not a member of package org

一只大数据专业的傻猪猪

04-05

8113

error：object Apache is not a member of package org

idea + spark 报错：object apache is not a member of package org

xl132598798的博客

04-22

1万+

在idea中运行Scala程序时，出现如下错误：出现上述错误的原因是未导入Spark 相关jar包，如下图所示添加下载好的相关jar包即可。

Spark程序编译报错error: object apache is not a member of package org

dengmanzhou3124的博客

08-28

4644

Spark程序编译报错： [INFO] Compiling 2 source files to E:\Develop\IDEAWorkspace\spark\target\classes at 1567004370534[ERROR] E:\Develop\IDEAWorkspace\spark\src\main\scala\cn\itcast\wordCount\WordCount....

sparksql遇到的问题总结—object spark is not a member of package org.apache