Spark大师之路：使用maven编译Spark

系统环境：

windows 7

apache maven 3.1.0

scala 2.10

jdk 1.7.0_40

spark 0.9.0-incubating

 

引言

如今JVM系的开源项目均引入了使用maven进行版本管理，Spark也不例外，今天就使用maven来对Spark进行构建。

Spark建议使用Maven3系列进行编译，并且要求Java版本最低为1.6。

 

编译

Maven内存配置

Spark编译可能比其他项目更耗内存，建议为maven配置较大内存，推荐的内存为2g，最大永久区内存为512m，可以使用一下命令来配置：

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

如果你使用的是windows系统，也可以在mvn.bat中找到：

@REM set MAVEN_OPTS=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8000

在其后添加 ：

-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m

如果内存配置不够大