Spark 1.3.0源码编译及部署

Spark源码编译

1. Spark1.3.0安装版本要求：

   Spark 1.3.0
   Java 6+
   Python 2.6+
   Scala 2.10.x

2. 安装Maven至 /usr/local/maven-3.1.1
   修改/etc/profile,添加:
   M2_HOME=/usr/local/maven-3.1.1
   export M2_HOME
   export PATH="$PATH:$M2_HOME/bin"

   最后 source /etc/profile

3. 添加用户 spark

    $ useradd spark

    $ passwd spark

4. 由于HDFS的版本兼容性并不好，在编译Spark时必须指定我们想访问的HDFS版本

  $ ./build/mvn -Pyarn -Phive -Phive-thriftserver -Phadoop-2.3 -Dhadoop.version=2.3.0 -DskipTests clean package

   如果想生成tgz包，spark-1.3.0里的make-distributions.sh用法和以往版本稍有区别(sh后面直接跟maven编译参数项)：
   $ ./make-distributions.sh -Pyarn -Phive -Phive-thriftserver -Phadoop-2.3 -Dhadoop.version=2.3.0 -DskipTests

   编译成功后我们可以在Spark源码根目录下看到新生成的spark-1.3.0-bin-2.3.0.tgz。

部署:

1. root权限安装 scala-2.10.4:

    $ cd /usr/local/

    $ tar -xzvf scala-2.10.5.tgz (提前下载scala tar包至此)

    $ vim /etc/profile, 添加 如下两行：

         export SCALA_HOME=/usr/local/scala-2.10.4
         export PATH=".:$PATH:$SCALA_HOME/bin"
    $ source /etc/profile

    $ scala -version (检查是否安装成功)

2. spark权限在/home/spark/下解压缩 spark tgz包，并进入解压后的spar安装目录。然后配置如下：

[spark@myPC1]# cat conf/slaves 

myPC2

[spark@myPC1]# vi conf/spark-env.sh

[spark@myPC1]# cat conf/spark-env.sh

export SPARK_MASTER_IP=myPC1
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=1g
export MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}

3. 将该spark安装目录 scp 到另一台机器 myPC2的 /home/spark/目录下

4. 在 /etc/hosts下添加myPC1和myPC2的ip与计算机名的映射

5. 在spark master的spark安装目录下执行  ./sbin/start-all.sh 

6. 访问http://192.168.112.113:8080 查看Spark是否启动成功 (这里假设 myPC1的ip为 192.168.112.113)

IT人的微信自媒体--- 杰天空， 走在寻找创意的路上

发掘创意，点缀生活，品味人生。
请搜索微信订阅号： jksy_studio ，或者微信扫描头像二维码添加关注