spark环境搭建中的各种版本匹配问题

最新推荐文章于 2023-11-15 13:39:26 发布
最新推荐文章于 2023-11-15 13:39:26 发布
阅读量2.6k 收藏 12
点赞数 13
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/A_Ashely/article/details/115958529
版权

搭建顺序：
JDK --> scala --> Hadoop --> 单机版spark --> Maven --> Scala IDE for Eclipse
要记得配置环境变量！

1、JDK 与 scala 版本匹配问题
官网截图

我这里安装的是jdk11，所以scala推荐装2.13.5、2.12.13、2.11.12，考虑到与spark的兼容问题，这里安装2.11.12版本

2、 spark 与 scala 版本匹配问题
官网截图

注意：
1、 spark 3.0+ 基于 Scala2.12
2、 目前企业中使用较多的Spark版本还是Spark2.x,如Spark2.2.0、Spark2.4.5都使用较多

目前就这么多了，以后再补充。。。

俺要工作俺想工作
关注
  • 13
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
spark需要 java的版本_如何为Spark Application指定不同的JDK版本详解
weixin_27215403的博客
02-25 1159
前言随着企业内部业务系统越来越多，基于JVM的服务，通常情况线上环境可能会有多套JDK跑不同的服务。大家都知道基于高版本的Java规范编写的服务跑在低版本的JVM上会出现：java.lang.UnsupportedClassVersionError的异常。Spark 2.2开始移除了对Java 7的支持，大多数情况下，我们的Spark Application是和Hadoop系统公用的JDK，如果H...
Spark2.2.0 + Scala2.13.0集群搭建
sinat_34022298的博客
08-21 5223
Spark使用了Hadoop的HDFS作为持久化存储层，因此安装Spark时，应先安装与Spark版本相对应的Hadoop。Spark计算框架以Scala语言开发，因此部署Spark首先需要安装Scala及JDK。Hadoop集群参考： ubuntu16+Hadoop2.7.3环境搭建（伪分布式），改为分布式集群 JDK版本：1.8.0 Scala版本：scala-2.13.0-M1 spar
idea运行报错，原因是spark与scala版本不对应（实践）
weixin_42382758的博客
03-23 4524
cmd中scala 版本 2.13.6 spark版本 3.1.3 idea中提示 插件scala没有
spark-core (scala版本)
weixin_43866666的博客
10-15 1223
文章目录RDD创建RDD的读取和存储driver和excutorRDD算子mapPartitionsWithIndex（func）算子glom算子takeOrdered算子RDD操作MYSQL查询操作插入操作 RDD创建 val conf : SparkConf = new SparkConf().setMaster("local[*]").setAppName("wordcount") ...
Scala与Spark的环境搭建版本匹配问题(学习笔记)
04-18
最新版本的scala-2.11.8与Spark2.1.0环境搭建
spark版本和jdk版本报错
weixin_43806056的博客
04-20 2695
报错信息： java.lang.UnsupportedClassVersionError: org/apache/spark/network/util/ByteUnit : Unsupported major.minor version 52.0 解决办法： helloword.scala(准备运行的代码)->run configuration->JRE->alternate j...
【Scala_笔记】
weixin_47922102的博客
12-27 1025
​ scala是一门多范式的编程语言，类似java，设计初衷是实现可伸缩的语言，并集成面向对象和函数式编程的各种特性。1.scala里面 默认方法体的最后一行 作为该方法的返回值 不需要写return。6.特质 =》 java 接口 =》对一个类的补充 + 某一类事物的共性。1.val xxx:数据类型=值 ，方法返回值类型 可以进行 类型推断。​ 1.win：安装scala + idea 安装 scala 插件。​ 1.spark，flink 的底层大部分都是用scala开发的。
Spark3.0 Windows模式环境
weixin_44288092的博客
09-22 1063
在初学Spark时，启动虚拟机，配置集群非常麻烦，而且对硬件要求较高，占用大量的系统资源。于是我们可以采用Spark提供的在Windows系统下启动本地集群的方式。
Scala与Spark版本对应关系
python伊甸园的博客
02-29 9844
Scala与Spark版本对应关系 其它版本： 其他版本的Spark都是基于2.11.*版本,只有2.4.2版本的才使用Scala2.12.* 版本进行开发 2.3.x的spark ->选择2.11.x的scala 2.4.x的spark ->选择2.12.x的scala ...
spark-Bench环境搭建文档.pdf
10-02
在本文档中，我们将详细介绍如何搭建 Spark-Bench 运行环境。在搭建过程中，我们会遇到一些错误，这些错误将一一解决。 首先，在编译wikixmlj工程时，我们需要使用 Maven 进行编译。在编译过程中，我们需要手动安装...
scala 2.11.12 window64 + linux版本
08-28
scala2.11.12版本，包含win和linux安装包： winx64.msi+linux压缩包版本 官网搬运，亲测可用
Hadoop-Spark集群环境搭建及疏散星团NGC2266数据处理1
08-08
《大数据原理与应用》实验作业 2020/2021 年 第一学期：Hadoop/Spark 集群环境搭建及疏散星团NGC2266的数据处理 一、PySpark 环境搭建 1、Python（推荐使用 Anaconda+PyCharm） Python 是数据处理的基础，而...
Maven搭建Spark的配置文件
03-15
由于IDEA的SBT框架建立过程特别缓慢...所以下面介绍一种基于IDEA的Maven框架搭建Spark开发环境，只需要建立添加Maven模块并导入该XML配置文件即可，注意其中的Spark版本和Scala版本要相互匹配。如有任何问题可以留言。
Spark学习一：安装、IDEA编写代码
01-07
注意该spark版本是2.4.5，与hadoop2.6相匹配，用的scala 2.11版本编译的spark源码。 如果觉得官网比较慢，可以去中国科学技术大学镜像网站和清华大学镜像网站下载。 将spark-2.4.5-bin-hadoop2.6.tgz上传
Spark3.2教程（前置）关于Spark3.2.0与Scala版本的坑
Java朱老师博客
12-24 5627
        搭建和使用最新版的Spark3.2.0，在版本上踩了很多坑，特此记录一下，避免后来者犯错。 首先看下图，即官网下载Spark的版本选择上的红框介绍：         这里介绍了Spark3用的是Scala2.12，Spark3.2+用的是Scala2.13，但是如果下载下来会发现，该包下的Scala版本是2.12.15，如下图所示：
Windows10系统spark3.0.0配置
lzq_tarena的专栏
11-06 1086
不同版本bin文件下载链接：https://gitee.com/tlbrun/hadoopWinutils/。注意：需要把%HADOOP_HOME%\bin与%HADOOP_HOME%\sbin一同加入path中。注意：需要把%SPARK_HOME%\bin与%SPARK_HOME%\sbin一同加入path中。从Apache官网下载Hadoop：https://hadoop.apache.org/官方下载网址：https://www.scala-lang.org/
初学sparkcore时scala版本导入maven依赖的一些问题（一定对你有用的）
scfvlog的博客
11-02 1789
这种我们点进他们的jar包发现，他们有时候会缺少一部分jar包导致我们的提示不全，很大可能是由于我们maven下载的时候出现问题了，比如你正在下载的时候关掉了idea，等等.........但其实我们去找到这个仓库里面的jar包发现它是存在的，这个时候我们将他压缩到我们当前的文件夹，如果可以的话说明这个jar包是可以使用的。下面我们列出来在官网找到的部分关系信息，这里我们主要看spark在版本2.4之后的，想看其他版本的可以直接去我上面给的地址即可。2.换一个匹配关系，比如用spark3.0.0？
spark与scala的对应版本查看
Knight
11-15 1710
https://mvnrepository.com/artifact/org.apache.spark/spark-core 总结
Spark core详解系列一
边看边学
11-21 438
学习spark重在详读官网！ spark官网地址：http://spark.apache.org spark特点： Speed 1）基于内存计算。 2）支持pipeline，不会像mr每次都要数据落地。 3）spark作业以线程形式，而mr的map和reduce任务都是进程级别的。 Ease of use 支持多种语言开发Java、Scala、Python、R和SQL，但是主流是scala。 ...
idea spark环境搭建
最新发布
05-25
Idea是一款开发工具，Spark是一款分布式计算框架。在Idea中搭建Spark环境需要进行以下步骤： 1. 安装Scala插件：打开Idea，进入插件市场，搜索Scala，安装Scala插件。 2. 新建Scala项目：选择File -> New -> Project -> Scala，填写项目名称和路径等信息，并选择合适的Scala SDK版本。 3. 导入Spark依赖：在项目的build.sbt文件中添加以下依赖： ``` libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.5" ``` 4. 配置Spark环境：在代码中设置Spark的运行环境。可以通过以下代码实现本地模式下的配置： ``` val conf = new SparkConf().setAppName("test").setMaster("local") val sc = new SparkContext(conf) ``` 5. 编写Spark应用程序：在Idea中编写Spark应用程序，并通过sbt编译运行。 相关问题： 1. 什么是分布式计算框架Spark？ 2. Scala是什么？为什么要使用Scala来开发Spark应用程序？ 3. 如何在Idea中配置Java开发环境？ 4. 什么是sbt？如何使用sbt来编译和运行Spark应用程序？

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

俺要工作俺想工作

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值