Spark 1.1.0 编译(为了支持hbase 0.98.6)

为了支持hbase0.98.6，需要重新编译spark

1. 下载spark 1.1.0源代码，以及 scala-2.10.4的bin包。

将环境变量 SCALA_HOME 设置为 scala-2.10.4 的目录位置。

 

2. 下载较新的pom.xml (https://github.com/tedyu/spark)

　　将该repository中的 spark/pom.xml和spark/examples/pom.xml下载下来，覆盖至用于编译的spark源代码中。

 

3. 进入源代码目录编译

export SCALA_HOME=/hbase/scala-2.10.4
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
/data2/hadoop_source/apache-maven-3.2.3/bin/mvn -Dhbase.profile=hadoop-provided -Phadoop-2.4,yarn -Dhadoop.version=2.4.1 -DskipTests -Dhbase.version=0.98.6-hadoop2 -e clean package

 

4. 测试hbase的example

/hbase/spark/bin/spark-submit --class org.apache.spark.examples.HBaseTest --master yarn-cluster --num-executors 3 --driver-memory 1024m  --executor-memory 1024m --executor-cores 3 /hbase/spark/lib/spark-examples*.jar 20

 

转载于:https://www.cnblogs.com/got-my-way/p/4077194.html