maven编译Spark源码

最新推荐文章于 2019-08-03 11:18:03 发布

Yashon1990

最新推荐文章于 2019-08-03 11:18:03 发布

阅读量4.9k

点赞数

分类专栏： Spark 文章标签： spark maven 大数据编译

本文链接：https://blog.csdn.net/hyx1990/article/details/50010397

版权

本文介绍了如何使用Maven编译Spark 1.5.2源码，包括设置Maven内存使用、指定Hadoop版本、支持Hive和JDBC以及改变Scala版本的步骤。对于Java8及以上的版本，部分配置可简化或省略。

摘要由CSDN通过智能技术生成

环境说明：

Spark 1.5.2，Maven 3.3.3或以上版本，Java7或以上版本。

一、设置Maven内存使用：

您需要通过MAVEN_OPTS配置Maven的内存使用量，官方推荐配置如下：

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512M"

您不做如上设置，很可能会出现如下编译错误：

[INFO] Compiling 203 Scala sources and 9 Java sources to /Users/me/Development/spark/core/target/scala-2.10/classes...
[ERROR] PermGen space -> [Help 1]

[INFO] Compiling 203 Scala sources and 9 Java sources to /Users/me/Development/spark/core/target/scala-2.10/classes...
[ERROR] Java heap space -> [Help 1]

注：1、如果您已配置 MAVEN_OPTS，但仍然出现如上错误，可以尝试调整MAVEN_OPTS里的

最低0.47元/天解锁文章

Yashon1990

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
maven编译Spark源码

环境说明：Spark 1.5.2，Maven 3.3.3或以上版本，Java7或以上版本。一、设置Maven内存使用：您需要通过MAVEN_OPTS配置Maven的内存使用量，官方推荐配置如下：export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512M"您不做如上设置，很可能
复制链接

扫一扫