spark启动HA时workers为0，且为standby状态

最新推荐文章于 2023-08-17 21:54:11 发布
最新推荐文章于 2023-08-17 21:54:11 发布
阅读量660 收藏 2
点赞数 1
文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42577508/article/details/131755160
版权
在尝试启动Spark的StandaloneHa模式时遇到问题，Workers数量显示为0，Master节点状态均为Standby。经过排查，发现是由于使用的Zookeeper版本过低，Spark3.2要求最低支持3.5.x版本的Zookeeper。解决方案是升级到3.6.3版本，并确保安装包包含bin目录。更新Zookeeper后，问题得到解决。
摘要由CSDN通过智能技术生成

今天学习一个spark视频，在启动StandAloneHa模式的时候，发现workers为0，而且spark两个master的状态都为standby，找了很久，才知道我用的spark3.2 最低支撑的zookeeper版本为3.5.x,而且zookeeper的安装包是需要带bin的那个包，例如apache-zookeeper-3.6.3-bin.tar.gz
这是zookeeper下载的地址：zookeeper下载地址
我自己用的是3.6.3版本

下图为解决后的样子
此图为解决后的情况

白莲居仙
关注
java packetmaster_spark 双master 一直处于standby的异常情况
weixin_39627408的博客
02-24 437
spark-work报错：20/07/16 18:18:56 INFO Worker: Connecting to master hadoop5:8088...20/07/16 18:19:09 INFO Worker: Retrying connection to master (attempt # 3)20/07/16 18:19:09 INFO Worker: Connecting to m...
Spark搭建HA详解
snail_gesture的博客
05-07 9059
实验环境： zookeeper-3.4.6 Spark：1.6.0 简介： 本篇博客将从以下几点组织文章： 一：Spark 构建高可用HA架构 二：动手实战构建高可用HA 三：提交程序测试HA一：Spark 构建高可用HA架构 Spark本身是Master和Slave,而这这里的 Master是指Spark资源调度和分配。负责整个集群的资源调度和分配。 Worke
spark 双master 一直处于standby的异常情况
qq_38461724的博客
07-17 2365
发现spark集群重启突然异常无法正常提供服务，两个master都没有人正常起来提供服务,不是防火墙规则导致的，不是因为更改端口导致的 1.异常情况： spark-master报错： 20/07/16 16:52:35 WARN ClientCnxn: Session 0x57355eb34540d0c for server hadoop5/"ip":7072, unexpected error, closing socket connection and attempting reconnect java
spark页面开启时Worker为0
qq_40425410的博客
02-01 1337
启动spark页面时Workers数量为0(从节点Worker进程已开启), 错误1：从节点无法连接192.168.153.18：7077 原因：主节点中7077端口开在了127.0.1.1上 解决方法：将/etc/hosts中127.0.1.1 node1删除 个人觉得可能是在开启Master服务127.0.1.1替换了node1 错误2：无法连接192.168.153.18的2181端口 原因...
spark （yarn部署）UI界面查看Workers数目为0
T_Y_F_的博客
11-04 390
spark （yarn部署）UI界面查看Workers数目为0
spark 配置双 master，两台 master 都处于 standby 的错误 Unable to read additional data from server sessionid 0x0,
weixin_46034990的博客
02-03 2173
问题描述 node1、node2 两个机器分别部署一个 master，预想状态是其中一台机器的 master 处于活跃状态，另一台处于备用状态，结果是两个都是 standby 状态。 查看日志： 首先切换目录 cd /export/server/spark/logs 其中 /export/server/spark 替换为自己的 spark 安装目录。 然后执行命令 tail spark-root-org.apache.spark.deploy.master.Master-1-node2.itca
【Spark】Spark 容错及 HA--Master 异常
w1992wishes的博客
03-06 551
一、Master 配置 recoveryMode Master 作为 Spark Standalone 模式中的核心，如果 Master 出现异常，则整个集群的运行情况和资源将无法进行管理，整个集群将处于“群龙无首”的状况。 Spark 在设计时考虑了这种情况，在集群运行的时候，可以启动一个或多个 Standby Master，当 Master 出现异常的时候，Standby Master 将根据...
pyspark-spark基本的概念-spark本地模式-集群模式-HA模式
LIUERTOU的博客
11-06 1439
spark的基本概念 spark基本概念 spark就是一款大规模数据的统一分析引擎，基于内存计算，整个spark核心的数据架构是RDD（弹性分布式数据集，认为是列表list），由加州大学柏克莱发表，后贡献给了Apache spark框架中各个节点的通信采用的模块为：netty框架 为什么说spark的运行效率比mr快一点？ spark核心: 弹性分布式数据集(RDD), 借鉴了MR的分布式并行计算的思想, 但是解决了MR存在的一些问题, 会将中间的结果存储在内存中(如果存储不下, 也可以
基于hadoop3.1.2分布式平台上部署spark HA集群
pysense的博客
10-13 1605
基于hadoop3.1.2分布式平台上部署spark集群 在此文章《基于Centos7.5完整部署分布式Hadoop3.1.2》里，已经给出详细的hadoop和yarn的部署过程，既然已经解决了大数据开发中“hdfs”的数据存储部署，那么就要考虑如何基于底层分布式文件基础上运行计算框架，以便进行更高层次的应用开发。在本篇文章中，将给出完整部署spark计算框架集群。 1、spark版本（仅列出sp...
第12 课：HA下的Spark集群工作原理解密
slq1023的博客
03-04 1913
第12 课：HA下的Spark集群工作原理解密 本期内容： 1.Spark高可用HA实战 2. Spark集群工作原理详解 1，Spark高可用HA实战 Spark本身是Master/Slaves结构的，有一个中心节点（Master），Master负责Spark集群的资源调度和分配。其余的是Worker。Worker管理单个节点上的资源状况。这里说的资源主要指CPU、内存
spark主节点Master挂掉后,备用节点(standby)如何恢复集群状态
u014052851的博客
08-20 6255
spark恢复,master节点恢复
启动Spark集群web界面无work信息
AsUs.的博客
04-24 690
MasterArguments:66 - SPARK MASTER IP is deprecated, please use SPARK MASTER HOST
【解决】Spark启动后WebUI看不到Workers（Alive workers:0）
hr786250678的博客
04-27 7484
Work启动，但Http中没有Worker节点：说明Slave节点与Master的通讯出现问题，或Slave节点无法向Master注册，导致虽然Woker启动但不能在Master中找到。 搜了一堆，被这个问题折磨了一天，总结一下主要是下面几个解决办法 1. spark-env.sh 文件中需要显式地设置一些环境变量，不用系统默认值 参考：https://blog.csdn.net/qq118...
Spark 启动集群 Master 正常启动 Worker 不启动
https://github.com/ZichengCao
08-08 9421
在学习spark过程中遇到的问题，做下记录，这个问题网上出现的不再少数，出现问题的原因也是各不相同，并且没有一个人的问题和我完全一样（我高兴得都快哭了），顺着大家的思路，尝试了两个多小时才搞明白。 问题的根源大多都在于 hostname 的配置与映射 环境前置说明（三台虚拟机模拟）： 系统：CentOS Linux release 7.5.1804 (Core) host hadoop102 192.168.20.102 Master Worker hadoop103 192.168.20.103 Wo
启动Spark在UI界面上看不到worker节点的信息
@潇洒哥
10-09 8654
问题描述 作者是在centos上安装spark-2.3.0-bin-hadoop2.7.tgz，当配置好spark-env.sh，改好slaves文件之后，在sbin/目录下运行命令./start-all.sh来启动Spark时，发现没有报错，以为启动成功，但是在Spark的UI界面上看不到worker的信息。此时第一反应都是worker节点启动失败，然后会用jps命令去查看，但是惊喜地发现Wo...
Spark集群遇到的问题
疏影横斜水清浅
11-16 2885
目录1.SparkContext: Error initializing SparkContext2.spark on yarn 1.SparkContext: Error initializing SparkContext 18/10/29 15:55:39 ERROR SparkContext: Error initializing SparkContext. java.net.BindExc...
Spark Worker 启动流程及源码详解
u013771019的专栏
06-17 1069
环境： spark 2.3.3 scala 2.11.8 Java 1.8.0_141 可以参考【Spark Master启动流程详解】 ${SPARK_HOME}/sbin/start-slaves.sh # Launch the slaves "${SPARK_HOME}/sbin/slaves.sh" cd "${SPARK_HOME}" \; "${SPARK_HOME}/sbin/start-slave.sh" "spark://$SPARK_MASTER_HOST:$SPARK_
Hadoop HA集群两个NameNode都是standby或者主NameNode是standby，从NameNode是active的情况集锦
最新发布
想你依然心痛的博客
08-17 5万+
这里说一下配置Hadoop HA集群可能出现的两种情况，第一种就是两个NameNode都是standby，第二种就是主Master是standby，从Master是active。
Spark系统架构（Standalone模式）
qq_39889944的博客
10-31 1119
本文简单介绍了Spark框架在Standalone模式下结构，并描述各个部分的作用及特点。文章结尾同MapReduce进行了比较
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值