Spark的StandAlone - HA高可用模式部署

最新推荐文章于 2024-06-18 14:20:21 发布
最新推荐文章于 2024-06-18 14:20:21 发布
阅读量317 收藏 1
点赞数
分类专栏： Spark 文章标签： spark apache spark 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38097878/article/details/106075981
版权
本文介绍了Spark StandAlone集群在HA高可用模式下的配置与部署，包括为何使用HA，如何配置基于Zookeeper的Standby Masters，以及启动和测试HA的方法。在遇到Master单点故障时，通过Zookeeper实现主备切换，确保集群稳定运行。
摘要由CSDN通过智能技术生成

StandAlone - HA高可用模式

为什么要使用HA高可用模式

Spark StandAlone集群是Master - Slaves架构的集群模式，和大部分的Master - Slaves结构集群一样，存在着Master单点故障问题。

提问：如何解决这个单点故障的问题？
Spark提供了两种解决方案

  1. 基于文件系统的单点恢复（Single-Node Recovery with Local File System）
  2. 基于Zookeeper的Standby Masters（Standby Masters with Zookeeper）
    在这里插入图片描述
    注意：
    基于文件系统的方案只能用于开发或测试环境，而基于Zookeeper的方案，可以用于生产环境

HA方案在使用上也很简单，只需要先启动zookeeper集群，然后在不同节点上启动Master即可。

配置HA

  • 先停止Spark集群
    /export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/sbin/stop-all.sh
  • 在node01上配置
    vim /export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/conf/spark-env,sh
  • 注释掉Master配置
最低0.47元/天 解锁文章
「已注销」
关注
专栏目录
大数据Spark（八）：环境搭建集群模式 Standalone HA
Lansonli（蓝深李）的博客
04-11 936
是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着的问题。如何解决这个单点故障的问题，Spark提供了两种方案：1.基于文件系统的单点恢复(Single-Node Recovery with Local File System)--只能用于开发或测试环境。2.基于zookeeper的Standby Masters(Standby Masters with ZooKeeper)--可以用于生产环境。
Spark3 Standalone模式高可用分布式集群搭建(HA模式)
zhengzaifeidelushang的博客
11-11 559
十三、实现Spark集群的高可用搭建 Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。这里基于zookeeper的Standby Masters（Standby Master with zookeeper）实现高可用。基本原理是通过zookeeper来选举一个Master，其他的Master处于Standby状态。将spark集群连接到同一个Zookeeper实例并启动多个Master，利用z
Spark Standalone HA（高可用）模式
若兰幽竹
08-26 853
Spark Standalone HA（高可用）模式一、HA架构说明二、主机规划三、Zookeeper的安装四、Spark的安装五、运行测试 一、HA架构说明 二、主机规划 主节点 从节点 hadoop002，hadoop005 hadoop003，hadoop004 Zookeeper hadoop002 ，hadoop003，hadoop004 三、Zookeeper的安装 请参考Zookeeper的集群安装 四、Spark的安装 安装部署，请
基于Spark3.3.4版本,实现Standalone 模式高可用集群部署
最新发布
qq_25409421的博客
06-18 1331
在早期大数据处理中，我们会选择使用MapReduce分析处理海量数据，MapReduce存在计算慢、代码编写复杂、不支持流式计算及性能上的一些问题，Apache Spark计算框架的出现解决了MapReduce计算框架以上各种问题，Apache Spark是新一代的大数据计算框架，支持针对批量数据及流式数据进行处理，在数据处理上相对比MapReduce性能上提升很多，不仅编程方便还支持SQL处理数据、流式编程等。今天我就来带大家基于Spark3.3.4版本,实现Standalone 模式高可用集群部署。
spark安装之standalone-HA高可用模式
王傲旗的大数据之路
04-03 571
原理 Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。 如何解决这个单点故障的问题，Spark提供了两种方案： 1.基于文件系统的单点恢复(Single-Node Recovery with Local File System)–只能用于开发或测试环境。 2.基于zookeeper...
Spark环境搭建③ standalone-HA高可用模式
大数据记录
04-04 9585
原理 Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。 如何解决这个单点故障的问题，Spark提供了两种方案： 1.基于文件系统的单点恢复(Single-Node Recovery with Local File System)--只能用于开发或测试环境。 2.基于zooke...
搭建Spark Standalone高可用集群
mengshicheng1992的博客
08-18 323
搭建Spark Standalone高可用集群 此文以Spark 3.1.2版本为例！ 如未指定，下述命令在所有节点执行！ 一、系统资源及组件规划 节点名称 系统名称 CPU/内存 网卡 磁盘 IP地址 OS 节点角色 Master1 master1 2C/4G ens33 128G 192.168.0.11 CentOS7 Master Master2 master2 2C/4G ens33 128G 192.168.0.12 CentOS7 Master Worker1 work
Spark-standalone配置高可用（HA）|运行流程
SmallScorpion
04-16 230
停止集群 sbin/stop-all.sh Zookeeper正常安装并启动 修改spark-env.sh文件添加如下配置 注释掉如下内容： #SPARK_MASTER_HOST=hadoop102 #SPARK_MASTER_PORT=7077 添加上如下内容。配置由Zookeeper管理Master，在Zookeeper节点中自动创建/spark目录，用于管理： export SPA...
Spark --最全的安装部署 local本地模式spark安装 spark--standalone集群安装 spark-HA高可用安装 spark on yarn安装
kismet
04-03 4052
安装部署之前，先来看看为什么要安装它这个版本！！！ 我们安装的是Spark2.2.0 目前企业中使用最多的稳定版 使用Apache版还是CDH版? 1.Apache版直接下载官方编译好的基于Apache Hadoop的Spark即可 2.自己下载Spark源码基于CDH Hadoop重新编译 因为CDH5.14版 Spark基于Spark1.6...
Spark环境搭建——HA高可用模式
01-20
Spark的高可用（HA）模式是为了克服其Standalone集群中Master节点的单点故障问题而设计的。在标准模式下，Spark Standalone集群由一个Master节点和多个Slave节点组成，Master负责调度作业和管理资源，但这样的架构...
Spark的安装（Standalone模式，高可用模式，基于Yarn模式）
01-20
目录 spark的Standalone模式安装  一、安装流程 1、将spark-2.2.0-bin-hadoop2.7.tgz  上传到 /usr/local/spark/ 下，然后解压 2、进入到conf中修改名字 改为  .sh 结尾的 3、编辑 spark-env.sh 4、修改slaves 的名字  并且编辑他 5、发送到其他两台虚拟机上 6、修改ect/proflie下面的配置环境 7、到spark的sbin目录下 修改启动命令 8、启动之后的jps数目 二、检测是否安装成功 1、进谷歌浏览器看看（端口号是8080 和tomcat端口号是一样的，注意后期一块启动的冲突问题） 2、按
spark(2) -- spark运行模式及Spark local模式安装与Spark Standalone集群
erainm
10-01 903
 Spark 框架编写的应用程序可以运行在本地模式(Local Mode)、集群模式(Cluster Mode) 和云服务(Cloud)，方便开发测试和生产部署。 概述 本地模式:Local Mode 将Spark 应用程序中任务Task运行在一个本地JVM Process进程中，通常开发测试使用。 本地模式LocalMode运行:启动一个JVM进程，里面运行Task任务，Task任务并行运行数目依据分 配CPU Core核数，在Spark应用中，一个Task任务运行，需要1Core CPU。 1)
spark高可用集群搭建-standalone模式
javaChengXuY的博客
03-14 293
集群: nn Master(Alive) dn1 Master(Standby) dn2 Worker dn3 Worker 1 tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz 2 vi spark-env.sh 配置standalone模式下 nn下： export JAVA_HOME=/home/hadoop/opt/jdk8 export S...
一次搭建Spark集群（standalone、yarn、高可用）
SunnyRivers
08-20 1117
摘要内容施舍么
spark-HA 高可用，yarn
秋雨ヾ的博客
12-27 308
1.配置spark-env.sh # 配置大哥;在二哥上面,MASTER_PORT=指的是自己 SPARK_MASTER_HOST=hadoop102 # 设置zookeepr,不能换行 SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop101:2181,...
大数据学习Spark——Standalone模式（高可用配置）
caron的博客
06-03 297
所谓的高可用是因为当前集群中的Master节点只有一个，所以会存在单点故障问题。所以为了解决单点故障问题，需要在集群中配置多个Master节点，一旦处于活动状态的Master发生故障时，由备用Master提供服务，保证作业可以继续执行。这里的高可用一般采用Zookeeper设置 集群规划 1) 停止集群 sbin/stop-all.sh 2) 启动Zookeeper zk start 3) 修改spark-env.sh文件添加如下配置 注释如下内容： #SPARK_MA
Spark安装教程：Standalone、HA模式与YARN集成
Spark是一款开源的大数据处理框架，本文主要介绍了如何在不同的模式下...总结，本文详细介绍了Spark在Standalone、高可用和YARN模式下的安装过程、配置要点以及测试方法，对于理解和部署Spark集群具有实际指导价值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值