Spark部署详细教程

部署spark

Standalone模式的spark

部署

#（1）通过以下步骤，配置Worker节点
#a)重命名slaves.template文件为slaves，使用以下命令：
mv /usr/local/spark/conf/slaves.template /usr/local/spark/conf/slaves
#b)编辑slaves文件，使用以下命令：
vim /usr/local/spark/conf/slaves
#c)替换原有的localhost为以下内容：
# 设置 worker 节点
master
slave1
slave2

#（2）通过以下步骤，配置Spark集群运行参数：
#a)重命名spark-env.sh.template配置文件为spark-env.sh，使用以下命令：
mv /usr/local/spark/conf/spark-env.sh.template /usr/local/spark/conf/spark-env.sh
#b)编辑spark-env.sh文件，在最后追加以下内容：
# 设置 JDK 目录
export JAVA_HOME=/usr/local/lib/jdk1.8.0_212
# 设置 web 监控页面端口号
export SPARK_MASTER_WEB_PORT=7077
# 设置 zookeeper 集群地址，实现高可用
export SPARK_D