安装jdk
安装scala
第一步. 修改 spark-1.5.0目录下的pom.xml文件,匹配自己的软件版本,我的修改如下:
vi pom.xml -- 修改如下相关软件的版本
<java.version>1.7</java.version>
<hadoop.version>2.5.0-cdh5.3.9</hadoop.version>
<maven.version>3.3.9<
/maven
.version>
<scala.version>2.10.4</scala.version>
<scala.binary.version>2.10</scala.binary.version>
第二步. 尝试用maven编译Spark
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
build/mvn -Pyarn -Phadoop-2.5 -Dhadoop.version=2.5.0-cdh5.3.9 -Dyarn.version=2.5.0-cdh5.3.9 -DskipTests clean package
第三步:
./make-distribution.sh --name cdh5.3.9 --tgz -Pyarn -Dhadoop.version=2.5.0-cdh5.3.9 -Phive -Phive-thriftserver