hadoop2.4.0集群安装spark1.3.0

一、spark1.3.0编译方法可参考:Linux64位操作系统（CentOS6.6）上如何编译spark1.3。

二、安装软件

  1.在官网下载scala2.10.5，解压设置好环境变量就可以用。

    环境变量设置如下：

 

      export SCALA_HOME=/usr/local/scala
      export PATH=$SCALA_HOME/bin:$PATH

  2.将编译好的spark解压修改配置环境变量

 

     export SPARK_HOME=/usr/local/spark-1.3.0-bin-hadoop2.4
     export PATH=$SPARK_HOME/bin:$PATH

 三、修改配置文件

 

 1.修改conf目录下的spark-env.sh，添加环境变量

 

export JAVA_HOME=/home/spark/jdk1.7
export HADOOP_CONF_DIR=/home/hadoop/hadoop2.4.0/etc/hadoop

export SPARK_HOME=/home/hadoop/spark-1.3.0-bin-2.4.0
export SPARK_JAR=$SPARK_HOME/lib/spark-assembly-1.3.0-hadoop2.4.0.jar
export PATH=$SPARK_HOME/bin:$PATH
export SPARK_MASTER_IP=test1
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=1g
export MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}

 2.修改conf目录下的slaves

 

 

test1
test2

 3.将配置好的spark安装目录 scp 到另一台机器 test2的 /home/hadoop/目录下

 4.在spark master的spark安装目录下执行  ./sbin/start-all.sh  

 5.访问http://test1的ip:8080 查看Spark是否启动成功.