spark集群部署(第三弹)

12 篇文章 0 订阅
12 篇文章 0 订阅

目录

                               spark集群部署

1 修改spark-env.sh配置文件

2 启动spark HA集群

3.测试spark HA集群,为演示是否解决单点故障问题,关闭master节点的master进程


       在这里插入图片描述

                                    spark集群部署

1 修改spark-env.sh配置文件

$ssh master

$cd opt/module/spark/conf

$vi spark-env.sh

步骤1 将指定master节点配置参数注释‘#’,添加SPARK_DAEMON_JAVA_OPTS配置参数

export JAVA_HOME=/opt/module/jdk1.8.0_144

#export SPARK_MASTER_HOST=master

export SPARK_MASTER_PORT=7077

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER

-Dspark.deploy.zookeeper.url=master:2181,slave1:2181,slave2:2181

-Dspark.deploy.zookeeper.dir=/spark"

(1)spark.deploy.recoveryMode=ZOOKEEPER:设置zookeeper去启用备用master模式

(2)spark.deploy.zookeeper.url=master:指定zookeeper的server地址

(3)spark.deploy.zookeeper.dir:保存集群元数据信息的文件和目录

将spark-env.sh分发至slave1和slave2节点上,保证配置文件统一

scp spark-env.sh slave1:/opt/module/spark/conf/

scp spark-env.sh slave2:/opt/module/spark/conf/

 

2 启动spark HA集群

步骤1 启动zookeeper服务,3节点都要

$cd /opt/module/zookeeper/bin

$ zkServer.sh start

问题1 : 启动spark集群出现以下问题

解决:配置问题,自己把spark-env.sh配置内容里的横杆空格了

问题2  在slave1节点启动master服务报 stop it first(意思是要你先停止这个,才能开启master,也可以不去停止)

解决:在master节点上停止spark集群

$cd opt/software/spark

$sbin/stop-all.sh

解决以上的问题后,重新在master节点启动spark集群与在slave节点单独启动master服务

在master节点上单独启动spark服务

$/opt/module/spark/sbin/start-all.sh

在slave1节点上单独启动Master服务

$/opt/module/spark/sbin/start-master.sh

步骤2 访问http://192.168.196.102(slave1):8080,查看备用master节点状态

Status:STANDBY  # 说明spark HA配置完成

3.测试spark HA集群,为演示是否解决单点故障问题,关闭master节点的master进程

$ /opt/module/spark/sbin/stop-master.sh

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:游动-白 设计师:我叫白小胖 返回首页
评论 17

打赏作者

发量不足

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值