8. Spark环境搭建(standalone模式)

一. 解压Spark安装包

tar -zxvf /opt/soft/spark-2.1.1-bin-hadoop2.7.tgz -C /usr/local/src/

二. 重命名conf目录里的 slaves.template 为 slaves ，spark-env.sh.template 为 spark-env.sh

mv slaves.template slaves
mv spark-env.sh.template spark-env.sh

三. 往 slaves文件添加集群中服务器的主机名

vim slaves

cluster01
cluster02
cluster03

四. 修改 spark-env.sh文件

vim spark-env.sh

#master节点
SPARK_MASTER_HOST=cluster01
#master端口
SPARK_MASTER_PORT=7077
#WORKER_CORES的数量
SPARK_WORKER_CORES=1
#WORKER_MEMORY的大小
SPARK_WORKER_MEMORY=500m

五. 修改sbin目录下的spark-config.sh,添加jdk的环境变量

vim /usr/local/src/spark-2.0.0-bin-hadoop2.6/sbin/spark-config.sh

六. 分发Spark包到集群中的每一个节点

七. 启动

sbin/start-all.sh