spark安装

1.之前安装的Hadoop版本2.6.0

安装Scala2.10.x版本，spark1.4.0最新版本的兼容2.10.x的scala，建议还是安装scala2.10.x的

2.下载Scala

wget http://www.scala-lang.org/files/archive/scala-2.10.4.tgz

3.解压到/usr/local

修改文件名 mv scala-2.10.4.tgz scala

4.配置环境变量

sudo vim /etc/profile

加上：

export SCALA_HOME=/usr/local/scala

export PATH=$PATH:$SCALA_HOME/bin

5. 测试scala

6.安装spark

下载Hadoop对应版本的二进制包

wget http://archive.apache.org/dist/spark/spark-1.4.0/spark-1.4.0-bin-hadoop2.6.tgz

7.解压缩到/usr/local

修改名称  mv spark-1.4.0-bin-hadoop2.6 spark

配置spark的环境变量：

在/etc/profile中添加

export SPARK_HOME=/usr/local/spark

export PATH=$PATH:$SPARK_HOME/bin

使文件生效

source /etc/profile

8.进入spark/conf目录下，修改两个文件的名称

1. mv spark-env.sh..template spark-env.sh  
2. mv slaves.template slaves 

9.配置spark-env.sh,使用vim spark-env.sh编译此文件，在文末添加如下几行：

1. export SCALA_HOME=/ROOT/server/scala-2.10.4  
2. export JAVA_HOME=$JAVA_HOME  
3. export HADOOP_HOME=/ROOT/server/hadoop  
4. export HADOOP_CONF_DIR=/ROOT/server/hadoop/etc/hadoop  
5. export SPARK_MASTER_IP=master  
6. export SPARK_DRIVER_MEMORY=1G

10. 配置slaves

1. master  
2. slave1  
3. slave2  

11. 执行scp命令，将环境变量，以及scala，spark的目录包，发送到各个节点上

12.进入spark的根目录（因为hadoop的启动命令，跟这名字一样，所以，为避免冲突），执行sbin/start-all.sh启动spark集群；

13访问http://ip:8080查看spark的web界面 

参考：http://qindongliang.iteye.com/blog/2224797