本文介绍了如何从源码编译Apache Spark项目。首先，通过克隆项目到本地开始，接着详细说明了使用Maven进行编译的步骤，包括定制不同编译版本和仅编译特定子模块。完成编译后，执行指定命令会在dist目录生成与官网相同的发布软件包。注意，为了完整编译，需要安装R和pip环境，以及R的相关插件。如果不希望支持Python和R，可以跳过这些步骤。
源码
将项目源码clone源码到本地
项目地址：https://github.com/apache/spark
git clone git@github.com:apache/spark.git编译
spark项目同时支持maven和sbt两种方式，以maven为例：
最简单的编译：
./build/mvn -DskipTests clean package使用 -D 和 -P参数定制不同的编译版本：
# Apache Hadoop 2.6.X
./build/mvn -Pyarn -DskipTests clean package
# Apache Hadoop 2.7.X and later
./build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -Dskip
最低0.47元/天 解锁文章
939
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
