Spark集群的搭建

最近忽然要把大数据跟我们对接的项目接回来我们自己维护，不得不自己搭建一个大数据的集群环境，用来运行该项目。因此记录一下集群环境的搭建，免得以后需要再搭建。

一、架构说明

本次基于spark-2.4.3-bin-hadoop2.6版本进行分布式配置。在此设置一个主节点和两个从节点。

准备3台虚拟机，分别为：

主机名	IP地址
master	192.168.0.41
slave1	192.168.0.42
slave2	192.168.0.75

本章节是记录Spark的搭建，后续会记录Hbase、Zookeeper、Scala、Kafka、Hadoop、Hive等的搭建，都是基于该环境的，一主两从模式的。 

已经在/home下创建了hadoop文件夹，用来存放各种安装的软件。

下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/，这是我找的一个镜像服务器地址

二、搭建步骤

1、上传spark-2.4.3-bin-hadoop2.6.tgz到/home/hadoop下，然后解压tar -zxvf spark-2.4.3-bin-hadoop2.6.tgz

2、配置环境变量，vim /etc/profile
export SPARK_HOME=/home/hadoop/spark-2.4.3-bin-hadoop2.6
export PATH=$PATH:$JAVA_HOME/bin:$SPARK_HOME/bin

3、修改spark-env.sh文件，进入spark-2.4.3-bin-hadoop2.6目录

复制目录下conf里的spark-env.sh.template：cp spark-env.sh.template spark-env.sh

修改配置：vim spark-env.sh

export JAVA_HOME=/usr/jdk1.8.0_161
export SCALA_HOME=/home/hadoop/scala-2.11.1
export SPARK_MASTER_IP=192.168.0.41
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.6.0-cdh5.8.0/etc/hadoop

4、配置slaves，还是conf目录下，运行命令：mv slaves.template slaves

然后在slaves里添加配置

master

slave1

slave2

5、复制spark-2.4.3-bin-hadoop2.6到slave1、slave2

scp -r /home/hadoop/spark-2.4.3-bin-hadoop2.6 root@192.168.0.75:/home/hadoop

scp -r /home/hadoop/spark-2.4.3-bin-hadoop2.6 root@192.168.0.42:/home/hadoop

同时将/etc/profile拷贝到slave1、slave2上，或者将配置内容拷贝过去，然后记得source /etc/profile

6、启动spark集群

在spark-2.4.3-bin-hadoop2.6目录下的sbin目录执行./start-all.sh

使用jps和8080端口可以查看集群是否启动成功