spark HA集群部署

已于 2023-04-09 19:06:36 修改
阅读量392 收藏 6
点赞数 1
分类专栏： spark 文章标签： spark 大数据 hadoop
于 2023-04-09 19:00:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_55047679/article/details/130045449
版权

目录

spark部署方式

Standalone模式 搭建

解压 重命名

修改配置文件

修改配置文件spark-env.sh

修改配置文件slaves

分发文件

启动spark集群

 spark集群管理页面[host01]

 spark HA集群部署

配置spark HA集群操作

修改spark-env.sh配置文件​编辑

 启动spark HA集群

启动zookeeper服务

测试host02节点是否转换为主节点

spark部署方式

  1. Standalone模式

    集群单机模式。在该模式下，spark集群架构为主从模式，此时集群会出现单点故障问题。

  2. Yarn模式

    Spark on Yarn模式，即把spark作为一个客户端，将作业提交给yarn服务。Yarn与Hadoop有密切关系。同时运行Hadoop和spark时优先选用。

    yarn Cluster：用于生产环境，所有资源调度和计算都在集群上运行

    Yarn Client：用于交互、调试环境

  3. Mesos模式

    Spark on Mesos模式，Mesos和Yarn同样是资源调度管理系统。Mesos与spark有密切关系

Standalone模式 搭建

解压 重命名

tar -zxvf spark-2.3.3-bin-hado.tgz -C /opt/programs #解压
mv spark-2.3.3-bin-hadoop2.7/ spark #重命名

修改配置文件

进入/spark/conf目录

将配置模板文件spark-env.sh.template复制一份并命名为spark-env.sh

cp spark-env.sh.templatespark-env.sh

修改配置文件spark-env.sh

#配置java环境变量
export JAVA_HOME=/opt/programs/jdk1.8.0_211
#指定Master的IP
export SPARK_MASTER_HOST=host01
#指定Master端口
export SPARK_MASTER_PORT=7077

复制文件slaves.template并重命名为slaves

cp slaves.template slaves

修改配置文件slaves

#在最后删掉locelhost并添加
host02
host03

分发文件

修改完配置文件后，将spark目录分发到host02和host03

scp -r /opt/programs/spark/ host02:/opt/programs/
scp -r /opt/programs/spark/ host03:/opt/programs/

启动spark集群

在/spark文件夹下启动所有结点

sbin/start-all.sh

关闭所有结点sbin/stop-all.sh

单独启动主节点sbin/start-master.sh

 三个节点分别执行 jps 【host01为master ，host02 host03为worker】

 spark集群管理页面[host01]

 https://主机IP:8080

 spark HA集群部署

解决Standalone模式单点故障问题，需要用到Zookeeper服务。

其基本原理是将Standalone集群连接到同一个Zookeeper实例并启动多个Master节点，利用Zookeeper提供的选举和状态保存功能，可以使一台Master节点被选举，另外一台Master节点处于Standby状态。

配置spark HA集群操作

修改spark-env.sh配置文件

#指定Master的IP
#export SPARK_MASTER_HOST=host01 #注释掉
#指定Master端口
export SPARK_MASTER_PORT=7077
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER #设置zookeeper去启动备用master模式
-Dspark.deploy.zookeeper.url=host01:2181,host02:2181,host03:2181  #指定zookeeper的server地址
-Dspark.deploy.zookeeper.dir=/spark"  #保存集群元数据信息的文件和目录

 将配置文件分发至host02,host03

scp spark-env.sh host02:/opt/programs/spark/conf
scp spark-env.sh host03:/opt/programs/spark/conf

 启动spark HA集群

启动zookeeper服务

1.依次在三个节点上启动zookeeper

zkServer.sh start

 host01,host02节点zookeeper启动报错

 解决：1.进入zookeeper/bin目录下进行启动

 解决2：进入zookeeper/data 删除zookeeper_server.pid文件后启动

2.在host01主节点使用一键启动脚本启动

/spark/sbin/start-all.sh

3.单独启动master节点【host02节点上再次启动master服务】

/spark/sbin/start-master.sh

  spark集群管理页面[host02]

测试host02节点是否转换为主节点

挂掉host01的master节点。host01spark集群管理界面不能访问，host02集群管理运行。

./sbin/stop-master.sh

 

 感谢！zookeeper启动报错解决参考以下解决方法：

 zookeeper启动报错:-bash: zkServer.sh: command not found命令未找到

 zookeeper启动报错 Starting zookeeper ... already running as process xxx

别喝凉水容易凉
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Spark环境搭建——HA高可用模式
01-20
本篇博客，Alice为大家带来的是Spark的HA高可用环境搭建的教程。 原理 Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。 如何解决这个单点故障的问题，Spark提供了两种方案： 1.基于文件系统的单点恢复(Single-Node Recovery with Local File System)–只能用于开发或测试环境。 2.基于zookeeper的Standby Masters(Standby Masters with ZooKeeper)–可以用于生产环境。 配置H
Spark基础学习笔记07：搭建Spark HA集群
lwmzl00的博客
06-17 588
零、本讲学习目标 了解Spark HA集群工作原理 掌握搭建Spark HA集群基本步骤 能够测试Spark HA集群的高可用性 一、搭建Spark HA集群 （一）Spark HA集群概述 Spark Standalone和大部分Master/Slave模式一样，都存在Master单点故障问题，解决方式是基于ZooKeeper实现两个Master无缝切换，类似HDFS的NameNode HA（High Availability，高可用）或YARN的ResourceManager HA。 Spark可以在集
Spark 本地模式 和 standalone集群模式 高可用（HA）部署以及案例测试
shuyv的博客
04-03 1189
文章目录Spark 本地模式Spark-shellwordcount 程序案例监控页面运行圆周率程序案例Spark Standalone 集群模式Standalone 架构在这里插入图片描述Standalone 集群模式部署解压、环境变量Workers主机名称配置Master、Workers、HistoryServer创建EventLogs存储目录配置Spark应用保存EventLogs设置日志级别分发到集群所有机器启动服务进程 创建软链接，方便后期升级 ln -s /usr/spark/spark-2.
Spark HA集群部署
qq_53325156的博客
04-13 144
Spark HA集群部署
CENTO OS上的网络安全工具（二十二）Spark HA swarm容器化集群部署
lhyzws的专栏
05-20 456
在基于swarm构建hadoop ha集群的基础上，进一步构建了基于swarm的spark ha集群
Spark 安装与配置 （Spark HA 集群部署）
weixin_64358432的博客
04-18 1380
启动 zookeeper。一键启动启动spark。二 . 解压 Spark 安装包并改名。2.slaves 配置。一 . 下载Spark。
spark的环境配置
lookqinghuaci的博客
06-17 2769
进入spark配置目录后，执行命令：cp spark-env.sh.template spark-env.sh与vim spark-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_162 export SPARK_MASTER_HOST=master export SPARK_MASTER_PORT=7077 JAVA_HOME：指定JAVA_HOME的路径。若集群中每个节点在/etc/profile文件中都配置了JAVA_HOME，则该选项可以省略，Spark集群启
spark 远程搭建问题记录
a0b1c23的博客
03-17 138
linux 解压命令 tar -zxvf spark-3.3.2-bin-hadoop3-scala2.13.tgz。进去 conf , 复制 spark-env.sh.template 重命名 spark-env.sh。前置安装 jdk1.8 scala-2.13.8。修改 spark-env.sh 增加 主要配置。#绑定ip访问 保证链接都是ip 而不是主机名。非本地配置，记录一下，后面在更新。#保证work的端口。
Spark学习之路 （二）Spark2.3 HA集群的分布式安装
weixin_33811961的博客
04-20 244
一、下载Spark安装包 1、从官网下载 http://spark.apache.org/downloads.html 2、从微软的镜像站下载 http://mirrors.hust.edu.cn/apache/ 3、从清华的镜像站下载 https://mirrors.tuna.tsinghua.edu.cn/apache/ 二、安装基础 1、Java8安装成功 2、zook...
HA集群部署手册
08-28
NameNode主备切换 ResourceManager主备切换 Master主备切换
spark集群的安装部署
06-17
spark集群安装部署，包括开发测试环境，生产环境(Ha部署)，以及在线动态添加从节点。
HadoopHA集群部署、YARNHA测试Job教学课件.pptx
06-20
YARN HA 测试Job YARN HA 测试Job 序号 任务名称 任务一 准备MapReduce输入文件 任务二 将输入文件上传到HDFS 任务三 运行MapReduce程序测试Job 任务一 准备MapReduce输入文件 在master主节点，使用 root 用户登录，...
Spark2.3.0-Hadoop2.7.4集群部署
11-18
详细介绍Spark2.3.0和Hadoop2.7.4集群在RedHat服务器部署，内涵hadoop 基于NFS 的HA高可用模式， yarn HA高可用， zookeeper安装，spark集群部署，NFS目录创建。对相关参数有详细介绍，以及提供了涉及到的Linux命令...
通过案例实战掌握高可用HA下的Spark集群部署
08-26
通过案例实战掌握高可用HA下的Spark集群部署
Spark分布式集群部署及HA配置
a805814077的博客
11-09 1049
Spark分布式集群的搭建详细图文步骤
HA-Spark集群环境搭建(Yarn模式)
广彐水厂
06-02 340
前置准备 CentOS7、jdk1.8、scala-2.11.12、spark-2.4.5、hadoop-2.7.7、zookeeper-3.5.7 想要完成本期视频中所有操作，需要以下准备： Linux下jdk的安装 Scala环境搭建-视频教程 大数据常用shell脚本之分发脚本编写-视频教程 大数据常用shell脚本之ha-hadoop脚本编写-视频教程 大数据常用shell脚本之zk脚本编写-视频教程 Hadoop单机伪分布式-视频教程 Hadoop完全分布式集群环境搭建-视频教程 HA(高可用)
spark集群部署(第三弹)
m0_57781407的博客
08-04 8533
（1）spark.deploy.recoveryMode=ZOOKEEPER：设置zookeeper去启用备用master模式 （2）spark.deploy.zookeeper.url=master：指定zookeeper的server地址 （3）spark.deploy.zookeeper.dir：保存集群元数据信息的文件和目录
spark HA部署
最新发布
08-13
在进行Spark HA部署时，可以按照以下步骤进行操作： 1. 首先，将配置文件分发至需要部署的节点。可以使用scp命令将spark-env.sh文件分发到host02和host03节点的对应目录下： ``` scp spark-env.sh host02:/opt/programs/spark/conf scp spark-env.sh host03:/opt/programs/spark/conf ``` 2. 接下来，启动Spark HA集群，同时启动Zookeeper服务。具体的启动过程可能因环境而异，请根据实际情况执行相应的命令。 3. 在配置文件中设置相关参数以支持Spark HA。可以使用以下参数进行配置： - spark.deploy.recoveryMode：设置为ZK，表示使用Zookeeper进行故障恢复。 - spark.deploy.zookeeper.url：设置Zookeeper的URL。 - spark.deploy.zookeeper.dir：设置Zookeeper保存恢复状态的目录，默认为/spark。 4. 最后，将配置文件发送到其他节点以确保所有节点都具有相同的配置。可以使用scp命令将spark-env.sh文件分发到其他节点的相应目录下： ``` scp -r spark-env.sh hadoop02:/home/hadoop/apps/spark/conf scp -r spark-env.sh hadoop02:/home/hadoop/apps/spark/conf ``` 请注意，以上步骤仅为示例，实际操作中可能需要根据具体环境和需求进行相应的修改和调整。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [spark HA集群部署](https://blog.csdn.net/weixin_55047679/article/details/130045449)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [Spark分布式集群部署及HA配置](https://blog.csdn.net/a805814077/article/details/102989233)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值