编译spark2.X源码，参数说明

最新推荐文章于 2020-05-12 16:23:55 发布

xzg1109

最新推荐文章于 2020-05-12 16:23:55 发布

阅读量591

点赞数

分类专栏： Spark 文章标签： Spark

本文链接：https://blog.csdn.net/xzg1109/article/details/79141179

版权

本文介绍了如何使用make-distribution.sh脚本编译Spark2.x源码，包括编译参数的详细解释，如-DskipTests、-Dhadoop.version、-Pyarn等。通过编译，可以选择是否执行测试、支持Hadoop YARN、Hive以及Tachyon等功能，并了解如何自定义打包名称。

摘要由CSDN通过智能技术生成

编译spark2.X源码

这里我们使用源码包中自带的make-distribution.sh文件进行编译。当然在编译之前你可以试着修改一些源代码。
在spark源码目录下运行

./dev/make-distribution.sh --name "hadoop2-without-hive" --tgz "-Pyarn,hadoop-provided,hadoop-2.7,parquet-provided,-Dscala-2.11" -rf :spark-repl_2.11

./dev/make-distribution.sh --name "hadoop2-hive" --tgz "-Pyarn,-Phive,hadoop-provided,hadoop-2.7,parquet-provided,-Dscala-2.11" -rf :spark-repl_2.11

参数解释：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

xzg1109

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Spark入门实战系列--2.Spark编译与部署（下）--Spark编译安装

yyy

09-09

732

1、编译Spark Spark可以通过SBT和Maven两种方式进行编译，再通过make-distribution.sh脚本生成部署包。SBT编译需要安装git工具，而Maven安装则需要maven工具，两种方式均需要在联网下进行，通过比较发现SBT编译速度较慢（原因有可能是1、时间不一样，SBT是白天编译，Maven是深夜进行的，获取依赖包速度不同 2、maven下载大文件是多线程进行，而SB

编译Spark2.X源码的心得和注意事项

BigData_Mining的博客

06-26

669

我这是用make-distribution.sh这个命令编译的。也是我推荐使用的，因为可以直接产生一个tgz包，其他的节点可以直接使用。建议打开make-distribution.sh,更改如下部分。报错：VERSION='ERROR: Cannot download zinc-0.3.9.tgz with cURL or wget; please install manually and try...

参与评论您还未登录，请先登录后发表或查看评论

Spark2.X环境准备、编译部署及运行

努力的凹凸曼的博客

04-17

577

1.Spark概述 Spark 是一个用于大规模数据处理的快速和通用的计算引擎。在速度方面， Spark 扩展了广泛使用的 MapReduce 计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。在处理大规模数据集时，速度是非常重要的。速度快就意味着我们可以进行交互式的数据操作，否则我们每次操作就需要等待数分钟甚至数小时。 Spark 的一个主要特点是基于内存进行计算...

Spark-2.x 编译构建及配置安装

败八

10-24

4449

Spark-2.x 编译构建及配置安装 0. Spark-2.x 编译环境准备编译服务器：ip 编译目录：/data10/spark/ 1. Spark-2.x编译 a. note:提高Maven编译时的堆内存大小，防止编译过程中产生OOM异常,相关命令如下： export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX

Spark2.x源码剖析系列文章(共21篇|经典必读)

陆继森的技术专栏

05-12

454

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。问题或建议，请公众号留言; 如果您觉得“大数据开发运维架构”对你有帮助，欢迎转发朋友圈从微信公众号拷贝过来，格式有些错乱，建议直接去公众号阅读原文链接： https://mp.weixin.qq.com/s?__biz=MzIxNjE2NjU1OQ==&mid=2247484516&idx=1&sn=67d8e46ab8bb023edb88a13d2662fd7f&chksm=978c7d94a0f

hive3.x编译spark3.x包

06-07

6. **编译Spark**：在Spark的源代码目录下，同样使用Maven编译，但可能需要设置一些额外的参数来指定Hive的版本和位置。例如，`mvn clean package -Phadoop-3.2 -Pyarn -Pspark-3.0 -Phive -Phive-thriftserver -...

Spark2.x快速入门教程-内含源码以及设计说明书(可以自己运行复现).zip

最新发布

05-08

《Spark2.x快速入门教程-内含源码以及设计说明书》是一个全面的教程，旨在帮助初学者快速掌握Spark2.x的核心特性和应用。本教程涵盖了多个关键知识点，包括Spark SQL、Structured Streaming、Hive on Spark以及多种...

Java基于Spark2.x新闻网大数据实时分析可视化系统项目源码.zip

03-14

该项目是使用Java编程语言开发的，基于Spark 2.x版本的大数据实时分析和可视化系统。主要目的是处理和分析大量的新闻网站日志数据，提供实时的数据洞察，并通过可视化界面展示结果。下面将详细介绍其中涉及的关键...

windows下使用idea编译spark2.x源码步骤

Ahuuua的博客

12-01

627

一开始看的这两个： https://blog.csdn.net/FishSeeker/article/details/63741265 https://juejin.im/entry/584e8e2e0ce463005c64f36c 按照他们的来最后在cmd中进入spark根目录，mvn -T 4 -DskipTests clean package，出现了如下两个问题并解决了： htt...

spark 2.x RDD源码解读

qq_19006739的博客

02-09

534

/** * A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable, * partitioned collection of elements that can be operated on in parallel. This class contains t...

Spark2.x源码分析---spark-submit提交流程

moneycrazy的博客

10-29

638

本文以spark on yarn的yarn-cluster模式进行源码解析，如有不妥之处，欢迎吐槽。步骤1.spark-submit提交任务脚本 spark-submit --class 主类路径 \ --master yarn \ --deploy-mode cluster \ --driver-memory 申请driver内存 \ --executor-memory 申请每个exec...

Spark2.x资源调度源码再析之大白话系列

孙大迪迪的博客

01-23

247

spark采用的粗粒度资源申请方式决定了每一个task在执行前不需要自己去申请资源，而是使用Application执行前都已经申请完毕的资源。那么资源调度的底层是如何实现的呢？当start-all.sh 的时候启动了两个脚本一个是start-master.sh 脚本中调用了org.apache.spark.deploy.master.Master这个类一个是start-slaves.sh...

Spark2.0.X源码深度剖析之 Spark Submit..

ws0owws0ow的博客

06-09

1218

Spark目前是大数据领域中最火的框架之一，可高效实现离线批处理，实时计算和机器学习等多元化操作，阅读源码有助你加深对框架的理解和认知本人将依次剖析Spark2.0.0.X版本的各个核心组件，包括以后章节的SparkContext，SparkEnv，RpcEnv，NettyRpc，BlockManager，OutputTracker,TaskScheduler,DAGScheduler等 Spark Submit 脚本是客户端提交任务时的入口脚本，里面包含了集群的提交模式，并行个数，core个数等，下面

带你看懂Spark2.x源码之Task分配算法

midsummer

12-28

276

https://blog.csdn.net/qq_41571900/article/details/84503945

Spark ALS recommendForAll源码解析实战之Spark1.x vs Spark2.x

fansy1990的专栏

03-04

1215

文章目录Spark ALS recommendForAll源码解析实战1. 软件版本：2. 本文要解决的问题3. 源码分析实战3.1 Spark2.2.2 ALS recommendForAll 实战分析1. 首先给出其核心实现源码：2. blockify函数3. cartesian flatMap的优势4. flatMap的处理逻辑3.2 Spark1.6.3 ALS recommendForA...

Spark 2.0.0正式版编译及问题分析

大数据挖掘SparkExpert的博客

08-31

1451

从上次编译了技术预览版2.0.1之后，官网终于放出了正式版本的2.0.0版本。 Spark Release 2.0.0（见http://spark.apache.org/releases/spark-release-2-0-0.html） Apache Spark 2.0.0 is the first release on the 2.x line. The major

Spark-2.2.0源码编译报错

jiaotangX的博客

11-26

5768

环境：系统：Linux（CentOS7） Spark：spark-2.2.0.tgz（Apache 官网下载） Scala：scala-2.11.8.tgz Hadoop：hadoop-2.9.0 编译方式：使用Spark源码解压目录下的spark-2.2.0/dev/make-distribution.sh 脚本进行编译命令：./dev/make-distribution

Spark源码编译与安装指南

"本文档详细介绍了如何下载、安装和启动Apache Spark源码，特别针对Spark 2.1.0版本，并提供了在编译过程中可能遇到的问题及其解决方案。" Apache Spark 是一个流行的分布式计算框架，用于处理大规模数据集。它提供...