spark集群配置

一 集群规划

Standalone集群安装服务规划与资源配置：

node01:master
node02:slave/worker  
node03:slave/worker 

官方文档：http://spark.apache.org/docs/2.4.5/spark-standalone.html

二，修改配置并分发

1，修改slaves
进入配置目录

cd /export/server/spark/conf

修改配置文件名称

mv slaves.template slaves
vim slaves

内容如下：

node2
node3

2 修改spark-env.sh
进入配置目录

cd /export/server/spark/conf

修改配置文件名称

mv spark-env.sh.template spark-env.sh

修改配置文件

vim spark-env.sh

增加如下内容：

## 设置JAVA安装目录
JAVA_HOME=/export/server/jdk

## HADOOP软件配置文件目录，读取HDFS上文件和运行YARN集群
HADOOP_CONF_DIR=/export/server/hadoop/etc/hadoop
YARN_CONF_DIR=/export/server/hadoop/etc/hadoop

## 指定spark老大Master的IP和提交任务的通信端口
export SPARK_MASTER_HOST=node1
export SPARK_MASTER_PORT=7077

SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g

三，启动集群

cd spark/sbin
start-all.sh

四，查看集群状态

1，jps
2，http://node1:8080