学习spark源码的第一步,就是编译源码,这样方便我们以后修改和调试。
选择的spark源码版本为最新的1.3.1 http://spark.apache.org/downloads.html
第一步,安装JDK,并配置环境变量JAVA_HOME,CLASSPATH,PATH。
我使用的是JDK1.7
java -version
java version "1.7.0_15"
Java(TM) SE Runtime Environment (build 1.7.0_15-b03)
Java HotSpot(TM) Client VM (build 23.7-b01, mixed mode)
第二步,安装maven.由于spark源码是用maven工具构建的,所以首先安装maven用于编译。
http://maven.apache.org/download.cgi
mvn --version
Apache Maven 3.0.5
Maven home: /usr/share/maven
Java version: 1.7.0_15, vendor: Oracle Corporation
Java home: /usr/lib/java/jdk1.7.0_15/jre
Default locale: en_US, platform encoding: UTF