编译准备:
maven jdk
编译步骤
1.从spark官网下载源代码;
2.为maven配置jvm参数
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512m -XX:ReservedCodeCachedSize=512m"
3.从解压后的源码根目录下执行编译命令
以下以hadoop2.6.4为例:
mvn -Pyarn -Dhadoop.version=2.6.4 -Dyarn.version=2.6.4 -DskipTests clean package
4.等待一段时间即可编译成功
利用IDEA导入工程即可