Spark安装

1.安装scala

下载scala

 
 
cd /usr/local/yujianxin/spark/
tar -zxvf scala-2.9.3.tgz

加入环境变量

 
 
vi /etc/profile

2.安装spark

用的spark版本是spark-1.2.0-bin-hadoop2.4 
hadoop版本是2.5.2，spark-1.2.0-bin-hadoop2.4 这个版本也兼容hadoop2.5.2

 
 
wget http://d3kbcqa49mib13.cloudfront.net/spark-1.2.0-bin-hadoop2.4.tgz
tar -xvzf spark-1.2.0-bin-hadoop2.4.tgz

3.配置

 
 
cd conf
cp spark-env.sh.template  spark-env.sh

修改配合spark-env.sh

 
 
vi  spark-env.sh

 
修改配置文件slaves

 
 
cp slaves.templates slaves
vi slaves

 
至此，master节点上的Spark已配置完毕。 把master上Spark相关配置copy到slave1、 slave2中，注意，三台机器spark所在目录必须一致，因为master会登陆到worker上执行命令，master认为worker的spark路径与自己一样

4.测试

测试1，通过命令行

 
 
start-all.sh

 

测试2.通过浏览器

Spark安装成功