spark源码打包编译步骤

最新推荐文章于 2020-03-28 19:47:28 发布

metooman

最新推荐文章于 2020-03-28 19:47:28 发布

阅读量1.3k

点赞数

分类专栏：大数据文章标签： spark

本文链接：https://blog.csdn.net/metooman/article/details/78775901

版权

大数据专栏收录该内容

10 篇文章 0 订阅

订阅专栏

目的是当需要修改spark源码时，项目需要使用自己的编译包

硬件环境：centOS6.x 64位系统，安装桌面版 内存4G以上  IDEA-linux版

软件环境：JDK  Maven  Spark源码

步骤：
1、解压spark源码包： tar -zxvf spark-1.6.1.tgz -C /usr/local/src
2、用maven编译源码：
    export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
    cd /usr/local/src/spark-1.6.1/
    mvn clean package -Phadoop-2.6 -Dhadoop.version=2.6.4 -Phive -Phive-thriftserver -Pyarn -DskipTests

    注意：由于编译过程Maven需要下载依赖，编译的所在机器必须可以访问网络，甚至需要翻墙才可以编译成功，我已经下载好了编译所需要的Maven依赖，只需要将其上传到Linux系统上，然后解压到当前用户的.m2目录即可
    tar -zxvf maven_repo.tgz -C ~/.m2
    然后再执行编译
3、将需要修改的spark模块导入IDEA中：
    选择 improt project 选好模块ok，选择导入maven项目，next配置JDK ，finish
4、修改spark源码，然后编译打包
    ./make-distribution.sh --tgz -Phadoop-2.6 -Dhadoop.version=2.6.4 -Phive -Phive-thriftserver -Pyarn -DskipTests