Spark集群搭建

Spark安装

1.1集群角色
从物理部署层面上来看，Spark主要分为两种类型的节点，Master节点和Worker节点，Master节点主要运行集群管理器的中心化部分，所承载的作用是分配Application到Worker节点，维护Worker节点，Driver，Application的状态。
Worker节点负责具体的业务运行。
说明：本次安装以Standalone为例来安装。
2.2 机器准备
准备两台以上Linux服务器，安装好JDK1.8
2.3 下载Spark安装包
去官网：http://spark.apache.org 下载

需要注意：要根据自己安装的Hadoop的版本来下载相应的spark版本，我的Hadoop是2.6的因此这里选择2.6版本的。选择完成后，进入第三项Download Spark进行spark的下载，下载完成。
上传解压安装包
上传 spark-2.3.3-bin-hadoop2.6.tgz 安装包到Linux上。
解压安装包到指定位置：在这里我的所有安装包都在这个soft目录下，因此直接在里面解压，执行：

tar -zxvf spark-2.3.3-bin-hadoop2.6.tgz

解压完成以后，为了方便使用，将解压的文件重命名为spark
执行命令： mv spark-2.3.3-bin-hadoop2.6 spark

2.4 配置Spark
Spark的部署模式有Local、Local-Cluster、Standalone、Yarn、Mesos，我们选择最具代表性的Standalone集群部署模式。
首先配置环境变量：

vi .bashrc

配置完成以后执行：source .bashrc
这样环境变量就配置完成了
接下来进入到Spark安装目录下的conf配置文件：

cd  /home/groot/soft/spark/conf

将slaves.template复制为slaves：

cp slaves.template slaves

复制完成以后，对slaves文件进行编辑：

vi slaves

这里需要将localhost修改为工作的worker，即slave1、slave2

将spark-env.sh.template复制为spark-env.sh：

cp spark-env.sh.template spark-env.sh

修改spark-env.sh文件，添加如下配置：

SPARK_MASTER_HOST=master
SPARK_MASTER_PORT=7077

这个时候，单个节点的spark就配置完了，接下来需要同步传输到另外两个节点上
执行命名：

        scp -r spark slave1:/home/groot/soft
		scp -r spark slave2:/home/groot/soft

这个时候，standalone就已经配置完了，可分别到另外两个节点去查看是否有spark这个文件夹。
最后，验证是否配置成功
执行：start-all.sh
如果执行不出错，接着执行：jps，master上出现Master，另外两个节点分别出现Worker，就说明配置成功了。

这个时候，我们也可以去端口看一下，安装是否成功
http://master:8080
最后如果出现这个界面就说明集群搭建成功了