spark 2.4.6 源码编译

最新推荐文章于 2023-10-23 22:32:47 发布

陈同学�

最新推荐文章于 2023-10-23 22:32:47 发布

阅读量277

点赞数

本文链接：https://blog.csdn.net/weixin_43866666/article/details/108385114

版权

linux 下

下载解压

https://archive.apache.org/dist/spark/

配置maven

http://spark.apache.org/docs/2.4.6/building-spark.html

spark pom.xml

<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>

编译

make-distribution.sh
VERSION=2.4.6
SCALA_VERSION=2.12
SPARK_HADOOP_VERSION=2.6.0-cdh.5.16.2
SPARK_HIVE=1


dev/change-scala-version.sh 2.12

./dev/make-distribution.sh --name 2.6.0-cdh5.16.2 --tgz -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.16.2 -Phive -Phive-thriftserver -Pyarn -Dscala.version=2.12.10

window 下

./build/mvn -Pyarn -Phive -Phive-thriftserver -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.16.2 -DskipTests clean package

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

陈同学�

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Spark源码包（编译完成）

07-18

Spark1.6.1源码包，maven工程导入

spark-2.4.6-bin-hadoop2.6.tgz

07-17

spark-2.4.6-bin-hadoop2.6.tgz 官网下载不了的，可以这里下载哦，csdn很稳定哦

参与评论您还未登录，请先登录后发表或查看评论

spark-2.4.6-bin-hadoop2.7.tgz

07-17

spark-2.4.6-bin-hadoop2.7.tgz 官网下载不了的，可以在这里下载哦，csdn很稳哦

Spark2.4.6单机模式安装文档

qq_41617848的博客

07-25

734

Spark2.4.6单机模式安装文档前提：安装Scala 下载安装文件 wget -P /opt/ https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz 解压缩将Scala解压缩到/opt目录下： tar zxvf /opt/scala-2.11.12.tgz -C /opt/ 配置环境变量编辑 /etc/profile 文件 vim /etc/profile 声明SCALA_HOME export SCALA_H

spark-2.4.6-bin-2.6.0-cdh5.7.0.tgz

07-25

Spark 2.4.6是Apache Spark的一个稳定版本，它是一个快速、通用且可扩展的大数据处理框架。这个版本的Spark包含了对Hadoop 2.6.0-cdh5.7.0的支持，这意味着它可以无缝地与Cloudera Data Hub（CDH）5.7.0集群集成，...

spark-2.4.6-cdh5.16.2

06-14

在本主题中，我们关注的是Spark的特定版本——Spark 2.4.6与CDH（Cloudera Distribution Including Apache Hadoop）5.16.2的集成。CDH是一个由Cloudera公司维护的Hadoop生态系统的企业级发行版，它包含了多个Hadoop...

【大数据 / 环境配置 / KEN】CentOS 7.7 Spark-2.4.6+Scala-2.11.8 安装（6）

kenllf的博客

08-21

604

CentOS 7.7 Spark2.4.6 安装首次发布时间：2020/8/20 最后修改时间：2020/8/20 摘要下载 Spark 下载地址历史版本下载地址版本选择下载我这里选的是 spark-2.4.6，即当前 2.x 的最新版点击下图红框中的 spark-2.4.6/ 点击 spark-2.4.6-bin-hadoop2.7.tgz 进行下载即可将 Spark 压缩包移动到 CentOS 系统中下载完毕后，要把下载好的 spark-2.4.6-bin-ha

Spark-2.4.5官网下载源码包

10-29

在官网下载的Spark-2.4.5版本的源码包，可以利用源码包来学习这个版本和之前版本做出的相应改动和不同，也可以拿来编译成tar包供自己学习使用

Spark环境搭建及程序编译运行

热门推荐

Jack_Roy的博客

11-09

1万+

windows环境下如何编译spark2.4.4源码环境要求环境安装源码下载源码编译注意事项后记环境要求操作系统环境：Windows 10（Windows7、Windows8亦可） Java版本： jdk1.8 Scala版本：2.11.0 Maven版本：3.5.4 Git版本：版本无要求以上相关组件的版本是根据spark2.4.4源码的pom文件里的组件版本进行梳理的：根据这组配置...

Spark集群搭建

weixin_42448883的博客

06-26

498

Spark（spark-2.4.6）集群安装环境Scala安装（3个节点都需要安装）Spark安装（3个节点都需要安装）启动Spark集群访问Spark集群URL：http://master:8080/运行spark提供的实例环境操作系统：Centos7 Spark集群依赖：JDK、Hadoop、Scala、Spark 版本： JDK：jdk1.8.0_201 Hadoop：hadoop-3.1.1 Scala：scala-2.12.11 Spark：spark-2.4.6-bin-hadoop2.7

spark2.3.3升级到2.4.6的问题

L13763338360的博客

06-16

1184

升级过程中遇到一些问题，逐个解决。其中有个问题：spark thrift server启动后，执行sql报错 > select * from xxx.xxx limit 10; Error: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 5.0 failed 10 times, most recent failure: Lost task 0.9 in stage 5.0 (

一、Spark 2.4.0 源码编译

qq_31806205的博客

04-21

637

1.环境准备 JAVA java的话，直接安装个1.8就行了，配置好环境变量和JAVA_HOME，在cmd当中java一下，确认java安装好即可。 scala scala安装和java类似，把Scala安装包解压，然后配置好Windows环境变量中的path当中还有SCALA_HOME，这里根据你想要阅读的源码，选择合适的scala版本，我用的是scala 2.11版本，然后scala ...

spark2.4.2版本编译

cnheasy

08-08

673

机器环境: mac 10.14.6 Apache Maven 3.5.4(https://archive.apache.org/dist/maven/maven-3/3.5.4/) Java version: 1.8.0_151(https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html...

spark-2.4.0 源码编译

无名虫博客

01-06

1472

环境： hadoop2.6.0-cdh5.7.0 jdk 8 + maven 3.5.4 + scala 2.11 这里提醒下，spark2.4.0之前的版本maven使用 3.3.9+ 就可以了; spark2.2.0之前的版本支持jdk 7。源码下载安装 [hadoop@hdp001 softwore]$ wget https://archi...

Spark 2.4.6 sparksql如何设置参数解决小文件过多的问题

06-08

在 Spark 2.4.6 中，可以通过设置以下两个参数来解决 SparkSQL 小文件过多的问题： 1. spark.sql.files.maxPartitionBytes：控制每个分区的最大大小。 2. spark.sql.files.openCostInBytes：控制打开一个新文件的...