Spark集群搭建

1、下载Spark

下载网址：http://spark.apache.org/downloads.html

2、将spark安装包通过Xshell放入主节点（M1是我的主节点名字）的spark目录（spark目录由自己创建）。在spark目录下用tar -zxvf 文件名的命令将spark安装包解压。例如：tar -zxvf spark-2.3.3-bin-hadoop2.7.tgz

3、进入解压后的spark包，切换到conf文件夹中，对spark-env.sh.template文件重命名。命令：mv spark-env.sh.template spark-env.sh。

然后 vim spark-env.sh，添加如下配置：（JAVA_HOME改为实际路径。SPARK_MASTER_HOST配自己的主节点名字）

JAVA_HOME=/java/jdk1.8.0_201
# 一般来说，spark任务有很大可能性需要去HDFS上读取文件，所
以配置上
# 设置Master的主机名
SPARK_MASTER_HOST=M1
# 提交Application的端口，默认就是这个，万一要改呢，改这里
SPARK_MASTER_PORT=7077
SPARK_MASTER_OPTS="-Dsaprk.worker.timeout=100"
#集群运行的本地目录 
SPARK_LOCAL_DIRS="/spark/spark" 
# 每一个Worker最多可以使用的cpu core的个数，我虚拟机就一>个...         
# 真实服务器如果有32个，你可以设置为32个
SPARK_WORKER_CORES=2
# 每一个Worker最多可以使用的内存，我的虚拟机就2g
# 真实服务器如果有128G，你可以设置为100G
SPARK_WORKER_MEMORY=3G
SPARK_WORKER_DIR="/spark/work"
SPARK_WORKER_OPTS="-Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.appDataTtl=259200"

4、修改slave文件。添加从节点的主机名。（我这里是S1和S2）

5、将配置好的Spark文件发送到两个从节点。（我的两个从节点名字是S1和S2）

6、配置环境变量。

#进入根目录
vim /etc/profile
#添加spark的环境变量
export SPARK_HOME=/spark/spark-2.3.3-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
#编译一下配置文件
source etc/profile
#测试spark环境
spark-shell

出现如下图即可说明配好了spark环境：

7、进入spark文件中的sbin目录下，执行start-all.sh启动集群（Hadoop中启动集群也是start-all.sh命令，所以为了防止冲突，可以改名为start-spark.sh）。stop-all.sh同理。