请用旧版的 Scala-2.11 搭配 Spark-2.4.8 / hadoop-2.7

最新推荐文章于 2022-10-10 14:55:11 发布

liuqun69

最新推荐文章于 2022-10-10 14:55:11 发布

阅读量479

点赞数

文章标签： spark scala apache 大数据 hadoop

本文链接：https://blog.csdn.net/liuqun69/article/details/120078624

版权

博客建议在无特殊需求时选择Scala2.11搭配Spark2.4.8，因为该组合已预构建且稳定。Spark2.4.x系列最高版本为2.4.8，而Spark3.0+则采用Scala2.12。如需下载历史版本，可访问Apache官方归档页面。

摘要由CSDN通过智能技术生成

Spark 2.3.x 和 2.4.x 版本兼容 Scala 2.11 (except version 2.4.2, which is pre-built with Scala 2.12 ). Spark 2.4.x系列已经更新到 2.4.8 了

Spark 3.0+ is pre-built with Scala 2.12.

没有特殊需求的话老老实实用旧版的 Scala 2.11 搭配 Spark 2.4.8 比较保险:

https://archive.apache.org/dist/spark/spark-2.4.8/spark-2.4.8-bin-hadoop2.7.tgz

其他旧版本下载

https://archive.apache.org/dist/spark/

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

liuqun69

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

flink-1.13.1-bin-scala-2.11以及hadoop连接器、kafka连接器

01-26

https://archive.apache.org/dist/flink/flink-1.13.1/flink-1.13.1-bin-scala_2.11.tgz...2.hadoop连接器jar包flink-shaded-hadoop-2-uber-2.7.5-10.0 3.kafka连接器jar包flink-connector-kafka_2.11-1.13.1

spark集群部署Spark2.4.8

热门推荐

Zenor_one的博客

03-19

2万+

切注意spark与scala有版本对应关系详情参考Spark官网相关说明：https://spark.apache.org/docs/latest/index.html 其中对我有用的部分是： Spark runs on Java 8+, Python 2.7+/3.4+ and R 3.1+. For the Scala API, Spark 2.4.0 uses Scala...

Spark2.4.8编写WordCount程序（Scala版）

若兰幽竹

09-15

1446

Spark2.4.8编写WordCount程序（Scala版）一、本地开发运行测试二、打包上传至远程服务器一、本地开发运行测试新建maven工程在pom.xml中添加spark相关依赖： <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifact

spark 2.4.8 源码阅读环境搭建(sbt方式 windows版在idea上搭建)

juemingxiaodudu的博客

07-29

339

spark 2.4.8 源码阅读环境搭建(windows版在idea上搭建) 1.安装scala 2.11.8以上版本此过程略… 在idea上安装scala插件 2. 安装sbt项目搭建工具 sbt项目下载地址(请不要下载 .msi格式安装包我这里下载的是zip压缩包安装方式) sbt版本我选择 0.13.18，因为spark-2.4.8 的sbt版本是0.13.17，我选用了1.x版本在编译spark时失败了，所以降到0.13.18 https://www.scala-sbt.org/do.

spark-3.2.1-bin-hadoop2.7.tgz

02-20

与Hadoop 2.7的兼容性意味着Spark可以无缝地集成到Hadoop生态系统中，使用HDFS作为默认的数据存储系统，同时也能与YARN资源管理器配合，进行集群资源的管理和调度。Hadoop 2.7版本引入了YARN（Yet Another Resource ...

scala-2.11 环境，免安装版，配置环境变量即可使用

10-09

标题中的“scala-2.11”指的是Scala的一个特定版本，即2.11.x系列，这是一个稳定且广泛使用的版本，对Java虚拟机（JVM）进行了优化，支持并行计算和现代软件开发实践。在描述中提到的“免安装版”，意味着这个...

spark-2.4.7-bin-hadoop2.7.tgz

03-19

- Spark 2.4.7与Hadoop 2.7的兼容性意味着它可以使用HDFS作为数据存储，并利用YARN或Mesos进行资源管理。这确保了Spark作业可以在现有的Hadoop集群上运行，无需额外配置。 3. **性能优化**： - Spark的内存计算...

flink-scala-2.11-1.10.0-API文档-中文版.zip

04-23

赠送jar包：flink-scala_2.11-1.10.0.jar；赠送原API文档：flink-scala_2.11-1.10.0-javadoc.jar；赠送源代码：flink-scala_2.11-1.10.0-sources.jar；赠送Maven依赖信息文件：flink-scala_2.11-1.10.0.pom； ...

Scala与Spark的环境搭建版本匹配问题(学习笔记)

04-18

最新版本的scala-2.11.8与Spark2.1.0环境搭建

基础篇八 Spark配置与安装

Andy的博客

05-29

1163

目录文章导读 Scala安装 Spark安装结束文章导读 Spark安装与配置需要提前安装Scala支持,需要在sca要在scala官网下载安装包,在Spark官网下载安装包. Scala安装 # 解压 [root@hadoop01 src]# tar -zxvf scala-2.11.12.tgz # 移动至指定目录 [root@hadoop01 src]# mv scala-2.11.12 ../soft/ # 修改环境变量 [root@hadoo...

spark 与 scala 版本对应

qq_38261075的博客

08-05

3999

spark 与 scala 版本对应

spark2.4.8 编译支持 hadoop3.3.3 hive2

u010374412的博客

10-10

1718

因为 spark 只依赖 hdfs 文件系统，spark2 默认就支持了 hadoop2，如果要支持 hadoop3 只需要把 hadoop 依赖换为 hadoop3 即可；当然你可以使用官方的 spark 在 hadoop2 编译后的 spark 安装包，但是就不能使用 hdfs3 的纠删码等特性了。

spark 与 scala 版本对应关系

Nice的博客

08-28

1万+

在开发spark程序的时候，用scala语言进行开发需要考虑sparkspark 版本与scala版本的对应问题版本对应关系如下： Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.3使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）。请注意自Spark 2.2.0起，对2.6.5...

Scala与Spark版本对应关系

python伊甸园的博客

02-29

9937

Scala与Spark版本对应关系其它版本：其他版本的Spark都是基于2.11.*版本,只有2.4.2版本的才使用Scala2.12.* 版本进行开发 2.3.x的spark ->选择2.11.x的scala 2.4.x的spark ->选择2.12.x的scala ...

1，spark 与 scala 的对应版本查看

孙砚秋的博客

04-09

1万+

1 ，思路：去 maven 查看 2 ，网址： https://mvnrepository.com/artifact/org.apache.spark/spark-core 3 ，看到： 4 ，总结： 1 ，spark3.0 以后，不再支持 scala2.11 2 ，spark3.0 以后，只能用 scala2.12 5 ，题外话： 1 ，我刚才去 spark 官网查找对应关系，找了半天找不到，真心无语。 2 ，有些官网做的，真新挺不为便群众着想的。 3 ，如果不是有 maven 在，我可能还

docker desktop ubuntu镜像_基于 Docker 构建 Hadoop 平台

weixin_39774644的博客

11-20

608

基于Docker的Hadoop集群构建0. 绪论使用Docker搭建Hadoop技术平台，包括安装Docker、Java、Scala、Hadoop、 Hbase、Spark。集群共有5台机器，主机名分别为 h01、h02、h03、h04、h05。其中 h01 为 master，其他的为 slave。JDK 1.8Scala 2.11.6Hadoop 3.2.0Hbase 2.1.3Spark 2....

基于CentOS7、Hadoop2.7.7搭建Spark2.4.7、Zookeeper3.6.3并开启spark高可用模式

深秋先生的博客

04-27

872

基于CentOS7、Hadoop2.7.7搭建Spark2.4.7、Zookeeper3.6.3并开启spark高可用模式

无需安装的scala-2.11环境搭建指南

总结来说，通过上述步骤配置scala-2.11免安装版环境变量后，用户将能够轻松地在多台计算机上使用Scala进行开发，同时也应当了解不同版本之间的兼容性差异，以及如何利用社区资源解决开发中可能遇到的问题。...