Spark 安装&配置

前提安装 hadoop ,JDK 环境

 

下载地址 scala：

http://www.scala-lang.org/download/2.11.6.html

 

解压： tar –zxvf scala-2.11.6.tgz

配置环境变量：vi /etc/profile

export SCALA_HOME=/opt/scala-2.11.6

export PATH=$SCALA_HOME/bin:$PATH

 

执行(立即生效)：source /etc/profile 

 

执行：cd /opt/scala-2.11.6/bin

      ./scala –version

输出（安装成功）：Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

 

下载地址 spark：

http://apache.fayea.com/spark/spark-1.4.0/spark-1.4.0-bin-hadoop2.6.tgz   

 

解压： tar –zxvf  spark-1.4.0-bin-hadoop2.6.tgz

配置环境变量： vi /etc/profile

export SPARK_HOME=/opt/spark-1.4.0-bin-hadoop2.6

export PATH=$SPARK_HOME/bin:$PATH

 

执行(立即生效)：source /etc/profile

 

进入spark conf 目录： cd /opt/spark-1.4.0-bin-hadoop2.6/conf

执行： cp  spark-env.sh.template  spark-env.sh

执行： vi spark-env.sh

添加如下内容：

export JAVA_HOME=/usr/java/jdk1.7.0_67

export SCALA_HOME=/opt/scala-2.11.6

export SPARK_MASTER_IP=192.168.68.84

export SPARK_WORKER_MEMORY=2g

export HADOOP_CONF_DIR=/opt/soft-228238/hadoop-2.6.0/etc/hadoop

 

注： SPARK_MASTER_IP 为 spark 集群中的主机IP; SPARK_WORKER_MEMORY是worker使用的最大内存

 

执行： cp  slaves.template  slaves

执行： vi slaves

 

增加两个slave节点:

192.168.68.84

192.168.68.85

 

进入： cd /opt/spark-1.4.0-bin-hadoop2.6/sbin

执行：./start-all.sh 

执行： jps  结果如红色方框中的内容说明成功

 

访问：http://192.168.68.84:8080/