spark中的SparkSession不好使【已解决】

最新推荐文章于 2023-09-30 10:55:19 发布
最新推荐文章于 2023-09-30 10:55:19 发布
阅读量4.3k 收藏
点赞数
文章标签： SparkSession spark常见问题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45786391/article/details/116401975
版权

【问题分析】该问题主要是spark版本不匹配，SparkSession是在Spark2.0版本之后出现的，因此需要重新下载Spark2.0以上的版本才可以。
【自我问题分析】由于我使用的是【JAVA1.8，Hadoop2.6，spark1.6】这三个版本放在一起Pyspark是可以正常使用的。因此，我又下载可spark2.0配Hadoop2.6版本的，只需要将新下载的spark2.0.0-hadoop2.6版本的名改为spark，再将原来的spark重新命名为其他名称即可【就不用重新配置环境变量了】
【最终】最终我使用的是【Java1.8，Hadoop2.6，spark2.0】

桃子嘻嘻
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark中文分词+文本分类.rar
03-25
Scala中文分词+SparkML逻辑回归 实现 中文文本分类
使用SparkSession相关问题
hsz_zl的博客
12-05 9998
Scala的版本问题 开始用的Scala版本是2.10.4，总是报错（org.apache.spark.sql.SparkSession中的方法找不到），换成了2.11.8后就可以用了 Spark版本问题 跟Scala中的版本问题一样，之前用的Spark的版本都是2.10的1.6.x的版本，找不到SparkSession，SparkSession好像在2.X中才有这个组件，将版本换成了2.11
java session初始化_SparkSession初始化错误 - 无法使用spark.read
weixin_28718793的博客
02-16 570
我尝试创建一个独立的PySpark程序，它读取csv并将其存储在hive表中 . 我在配置Spark会话， Session 和上下文对象时遇到问题 . 这是我的代码：from pyspark import SparkConf, SparkContextfrom pyspark.sql import SQLContext, SparkSessionfrom pyspark.sql.types imp...
解决idea编写spark程序时，import org.apache.spark报错
qq_42400267的博客
12-05 1万+
问题描述 导入spark程序时，spark显示不能识别此符号 解决： 去官网对应spark版本的压缩包，链接 解压，既有jars目录
解决PySpark导入Python的问题
qq_46179411的博客
09-30 390
解决PySpark导入Python的问题。
从spark读取mysql中的数据
qq_45786391的博客
05-20 1415
【注意】需要提前将驱动放到spark安装目录下的jars中，然后关掉现有的pyspark，重新打开终端登录pyspark，再运行读取数据的程序。 jdbcDF=spark.read\ .format("jdbc")\ .option("driver","com.mysql.jdbc.Driver")\ .option("url","jdbc:mysql://localhost:3360/sparkass")\ .option("dbtable","student")\ .option("user","roo
成功安装spark的各个软件版本
qq_45786391的博客
04-18 2505
Java： Hadoop： Spark： spark版本1.6.0对应2.6.0版本的Hadoop
idea创建spark项目时，引入了SparkSession依赖，仍然报错，没有这个包
m0_65077254的博客
03-01 662
idea创建spark项目时，引入了SparkSession依赖，仍然报错，没有这个包
pycharm远程连接服务器调用spark的配置及异常处理
weixin_40122615的博客
10-17 1955
spark的运行环境配置： 第一步： pycharm远程连接服务器之后，配置python解释器的路径（可以是自己本地服务器的Python路径或者虚拟环境中的Python解释器路径），样例是远程连接的虚拟环境 第二步： 将spark安装目录python目录下面的pyspark文件夹复制到python的解释器所在的安装目录的site-packages包中: 本地服务器python解释器的site-pa...
pyspark及Spark报错问题汇总及某些函数用法。
热门推荐
元元的李树专栏
01-07 3万+
此贴，主要记录本人在工作中遇到的某些报错问题，并提出自己的解决办法。 1. spark = SparkSession.builder() TypeError: 'Builder' object is not callable 解决办法：.builder() 改为.builderhttps://issues.apache.org/jira/browse/SPARK-1842...
Spark缺少的jar包
10-04
Spark缺少的jar包
GC调优在Spark应用中的实践
01-30
摘要：Spark立足内存计算，常常需要在内存中存放大量数据，因此也更依赖JVM的垃圾回收机制。与此同时，它也兼容批处理和流式处理，对于程序吞吐量和延迟都有较高要求，因此GC参数的调优在Spark应用实践中显得尤为...
深入解析Spark中的RPC
02-25
Spark的RPC主要在两个模块中：在Spark-core中，主要承载了更好的封装server和client的作用，以及和scala语言的融合，它依赖于模块org.apache.spark.spark-network-common；在org.apache.spark.spark-n
Spark性能优化之道-解决Spark数据倾斜（Data
10-31
Spark性能优化之道——解决Spark数据倾斜（DataSkew）的N种姿势共12页.pdf.zip
后端开发是一个涉及广泛技术和工具的领域.docx
04-30
后端开发是一个涉及广泛技术和工具的领域，这些资源对于构建健壮、可扩展和高效的Web应用程序至关重要。以下是对后端开发资源的简要介绍： 首先，掌握一门或多门编程语言是后端开发的基础。Java、Python和Node.js是其中最受欢迎的几种。Java以其跨平台性和丰富的库而著名，Python则因其简洁的语法和广泛的应用领域而备受欢迎。Node.js则通过其基于JavaScript的单线程异步I/O模型，为Web开发提供了高性能的解决方案。 其次，数据库技术是后端开发中不可或缺的一部分。关系型数据库（如MySQL、PostgreSQL）和非关系型数据库（如MongoDB、Redis）各有其特点和应用场景。关系型数据库适合存储结构化数据，而非关系型数据库则更适合处理大量非结构化数据。 此外，Web开发框架也是后端开发的重要资源。例如，Express是一个基于Node.js的Web应用开发框架，它提供了丰富的API和中间件支持，使得开发人员能够快速地构建Web应用程序。Django则是一个用Python编写的Web应用框架，它采用了MVC的软件设计模式，使得代码结构更加清晰和易于维护。
华为数字化转型实践28个精华问答glkm.pptx
04-30
华为数字化转型实践28个精华问答glkm.pptx
新员工入职培训全流程资料包gl.zip
04-30
新员工入职培训全流程资料包（100+个文件） 1入职流程指引 万科新职员入职通知书 万科新职员入职引导手册 新进员工跟进管理表 新员工入职报到工作单(文职) 新员工入职报到流程 新员工入职流程表 新员工入职手续办理流程(工厂 新员工入职手续清单 新员工入职须知 新员工入职训流程 新员工入职引导表(导师用) 2 入职工具表格 3 培训方案计划 4培训管理流程 5培训教材课件 6 培训效果检测 7 员工管理制度 8 劳动合同协议 9 新员工培训PPT模板(28套)
三菱PLC通讯程序实例
04-30
FX5U PLC作为主、从站的通讯方式程序实例，以及包含详细说明文件...
技术需求报告-集行波测距与故障录波功能于一体的电网综合故障分析系统.docx
最新发布
04-30
技术需求报告-集行波测距与故障录波功能于一体的电网综合故障分析系统.docx
已正确导入SparkSession且有Spark依赖还是显示错误
05-31
如果你已经正确导入了 `SparkSession`，并且在项目中包含了正确的 `Spark` 依赖，但仍然无法找到 `SparkSession` 类型，那么有可能是因为你的编译器没有正确地识别你所使用的 `Scala` 版本。 请尝试在 `build.sbt` ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值