Spark-1.5.2之修改源码后的自定义打包编译

本文详细介绍了如何编译Spark 1.5.2的源码,包括下载源码、配置环境、修改启动文件提示、使用maven进行打包,并在编译过程中解决网络问题和手动下载缺失的jar包。最终,成功编译的Spark打上了自定义标签。
摘要由CSDN通过智能技术生成

Spark-1.5.2之自定义打包编译,基于当前最新版本的spark源码1.5.2版本。自己编译spark是修改spark源码的必备条件,修改的源码自定义打包生效后才能发布到生产环境中。

本地详细介绍Spark-1.5.2编译的过程


1、下载Spark-1.5.2的源码

在官网下载,选择 一个合适自己网络的镜像

wget http://mirrors.noc.im/apache/spark/spark-1.5.2/spark-1.5.2.tgz

解压代码

tar zxfv spark-1.5.2.tgz

2、安装maven打包工具

首先说,官网一般推荐使用sbt, sbt比较适合于编译scala的工程,maven一般适合于java的工程。但是,sbt的源经常访问不到,甚至要翻*,你们懂得。

maven的源基本国内都能访问。

wget http://apache.dataguru.cn/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz

解压安装包

tar zxfv apache-maven-3.3.9-bin.tar.gz

设置环境变量,根据自己安装的路径来配置

expor
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值