系统环境:
windows 7
apache maven 3.1.0
scala 2.10
jdk 1.7.0_40
spark 0.9.0-incubating
引言
如今JVM系的开源项目均引入了使用maven进行版本管理,Spark也不例外,今天就使用maven来对Spark进行构建。
Spark建议使用Maven3系列进行编译,并且要求Java版本最低为1.6。
编译
Maven内存配置
Spark编译可能比其他项目更耗内存,建议为maven配置较大内存,推荐的内存为2g,最大永久区内存为512m,可以使用一下命令来配置:
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
如果你使用的是windows系统,也可以在mvn.bat中找到:
@REM set MAVEN_OPTS=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8000
在其后添加 :
-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m
如果内存配置不够大