Spark集群环境搭建

环境准备：

虚拟机：ubuntu 16.04 LTS

已经搭建好hadoop集群的两台主机：

master:192.168.184.158

slave1:192.168.184.169

由于电脑性能问题，将master与slave1主机共同作为节点进行配置，即master也作为datanode（实际应用中不建议，这里是为了模拟）。

 

1.安装scala

    下载地址为：http://www.scala-lang.org/download/

    先在master上安装，路径为：/home/hadoop/software/

tar -xvf scala-2.11.8.tgz

mv scala-2.11.8  scala

    将/home/hadoop/software/scala/bin目录加入环境变量，生效后执行

scala-version

会出现以下信息：

    Scala code runner version 2.11.8-- Copyright 2002-2016,LAMP/EPFL

    分发scala文件目录到slave节点，

    scp -r /home/hadoop/software/scala hadoop@slave1:/home/hadoop/software/

同样配置环境变量。

 

2.  安装spark

下载spark，http://d3kbcqa49mib13.cloudfront.net/spark-1.2.0-bin-hadoop2.4.tgz

在/home/hadoop/software/解压并重命名为spark

在master主机配置spark:

cd /home/hadoop/software/spark/conf

cp spark-env.sh.templatespark-env.sh

在spark-env.sh最后加入如下内容：

###jdk安装目录

exportJAVA_HOME=/home/hadoop/software/jdk1.6.0_31

###scala安装目录

export SCALA_HOME=/home/hadoop/software/scala

###spark集群的master节点的ip

export SPARK_MASTER_IP=192.168.184.158

###指定的worker节点能够最大分配给Excutors的内存大小

export SPARK_WORKER_MEMORY=2g

###hadoop集群的配置文件目录

exportHADOOP_CONF_DIR=/home/hadoop/software/hadoop/etc/hadoop

 

新建slaves文件

加入集群节点,节点应和hadoop下的节点一致：

master

slave1

master配置完成，将/home/hadoop/software/spark/目录分发至其他slave节点：

scp -r/home/hadoop/software/spark hadoop@slave1: /home/hadoop/software/

 

3.  启动spark集群

先启动hadoop hdfs

start-dfs.sh

启动完毕后

cd /home/hadoop/software/spark/sbin

执行

./start-all.sh

访问：http://192.168.184.158:8080/如下即执行成功：