Spark-1.5.2之自定义打包编译,基于当前最新版本的spark源码1.5.2版本。自己编译spark是修改spark源码的必备条件,修改的源码自定义打包生效后才能发布到生产环境中。
本地详细介绍Spark-1.5.2编译的过程
1、下载Spark-1.5.2的源码
在官网下载,选择 一个合适自己网络的镜像
wget http://mirrors.noc.im/apache/spark/spark-1.5.2/spark-1.5.2.tgz
解压代码
tar zxfv spark-1.5.2.tgz
2、安装maven打包工具
首先说,官网一般推荐使用sbt, sbt比较适合于编译scala的工程,maven一般适合于java的工程。但是,sbt的源经常访问不到,甚至要翻*,你们懂得。
maven的源基本国内都能访问。
wget http://apache.dataguru.cn/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz
解压安装包
tar zxfv apache-maven-3.3.9-bin.tar.gz
设置环境变量,根据自己安装的路径来配置
expor