spark配置安装

1  本文是在hadoop正确安装的前提的条件上进行的

 Hadoop安装请参考：hadoop的安装和配置.docx（http://blog.csdn.net/tian_li/article/details/49103603）

2  下载程序包

http://spark.apache.org/downloads.html

我们使用的是：spark-1.5.1-bin-hadoop2.6.tgz

3  安装spark

(1) 将spark-1.5.1-bin-hadoop2.6.tgzpagz拖拽到ubuntu桌面

(2) mkdir /usr/local/spark #在/usr/local/中创建spark目录用来存放程序文件

(3) cp –rf Desktop/spark-1.5.1-bin-hadoop2.6.tgz/usr/local/spark 将spark的安装包拷贝到（2）中新建的目录下

(4) 解压/usr/local/spark下的安装包 并删除安装包

4  配置环境变量

(1) 在/etc/profile中添加SPARK_HOME并且把spark的bin目录添加进环境变量

(2) 使配置文件生效

(3) 使用scp 将/etc/profile发送到slave1和slave2上

scp /etc/profile root@slave1:/etc/profile

scp /etc/profile root@slave2:/etc/profile

并且在slave1和slave2上执行：source /etc/profile使配置生效

(4) 配置spark的spark-env.sh文件

1)  进入spark的conf目录：

cd /usr/local/spark/spark-1.5.1-bin-hadoop2.6/conf

2)  备份spark的配置文件spark-env.sh.template

cp –rfspark-env.sh.template spark-env.sh

3)  在spark-env.sh添加如下配置信息

exportJAVA_HOME=/usr/local/java/jdk1.7.0_80#jdk安装目录

export SCALA_HOME=/usr/local/scala/scala-2.11.7#scala安装目录

exportSPARK_MASTER_IP=192.168.189.130#spark集群的master节点

exportSPARK_WORKER_MEMORY=1.5g#指定的work节点能够最大分配给#Executors的内存大小，因为虚拟机就分了2G，所以这里给spark1.5g

export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-2.7.1/etc/hadoop

#指定Hadoop集群的配置文件目录，保存退出.

(5) 配置conf下的slaves文件

 创建文件slaves

cp –rf slaves.template slaves

添加如下配置信息：

master

slave1

slave2

把三台机器设置为Worker，主节点既是master又是worker节点。

(6) 通过scp命令把spark的配置分发到slave1和slave2上

 

5  启动spark集群

先启动hadoop集群

Hadoop跟spark都要启动！

进入/usr/local/spark/spark-1.5.1-bin-hadoop2.6/sbin目录执行：./start-all.sh 注意使用./start-all.sh而不是start-all.sh因为我们已经把hadoop中的start-all.sh的已经添加进环境变量中。

可以看到master节点：多了master进程和worker进程

       slave1和slave2 :多了worker进程

master:

 

Slave:

 

6  测试spark

6.1 进入web页面查看

http://master:8080/