HDFS主备切换，导致HBase和Spark 无法访问Standby的namenode,而不可用

最新推荐文章于 2024-02-28 20:53:29 发布
最新推荐文章于 2024-02-28 20:53:29 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： 大数据 文章标签： Spark HBase HDFS Standby 主备切换
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/things_use/article/details/88708541
版权

HDFS主备切换，导致HBase挂掉，并且Spark出现了Operation category READ is not supported in state standby的问题。这是因为在hadoop的HA模式下，只有active状态的namenode才可以作文hdfs的文件访问入口的。所以这里需要修改HBase和Spark的配置。

HBase修改hbase-site.xml的hbase.rootdir=hdfs://clusterNameService/data/。。clusterNameService是集群的名称，即hdfs-site.xml中的dfs.internal.nameservices 属性。Spark查看spark-defaults和spark-env中，也将所有的配置具体ip的值的地方修改为集群名称。

 

会飞的犬良
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hadoop服务器中断,Hadoop\Hbase服务器宕机重启报错解决
weixin_42120275的博客
07-31 1189
.md夜间跳闸服务器宕机，重启Hadoop、Hbase出现的问题及解决方法。![](http://file.zzd.pub/2020/11/5/d61d750d39.jpg)问题描述：Hbase没有启用负载平衡器```The Load Balancer is not enabled which will eventually cause performance degradation in HBa...
NameNode启用HA主备节点进行切换，Hbase启动RegionServers失败
周源的专栏
04-03 1424
打印日志：2018-03-13 17:08:49,418 INFO  [RS_OPEN_REGION-C2bdm3:16020-16] coordination.ZkOpenRegionCoordination: Opening of region {ENCODED => c5112e862e17377d2737596d6d5ddd0c, NAME => 'KYLIN_CY40CLW8...
HDFS namenode主备安装
10-18
最新的hdfs namenode主备安装文档，详细，命令只需要copy执行即可
Hadoop集群 手动主备切换 （Active - Standby）
2301_77257988的博客
02-28 851
方案一：命令切换。
HDFS 异常之 READ is not supported in state standby
Mrerlou的博客
01-30 1013
但是却没有影响到功能的正常运行，只不过是抛出了大量的上述异常，而且内容都一样，也都是操作 HDFS 产生的，所以猜测与 HDFS 集群（或者配置）有关系。本文就记录发现问题、解决问题的过程。参考：http://support-it.huawei.com/docs/zh-cn/fusioninsight-all/maintenance-guide/zh-cn_topic_0062904132.html。
hadoop的namenode主从切换导致连到从机上无法读取目录Operation category READ is not supported in state standby
shy_snow的专栏
02-01 258
hadoop的namenode主从切换导致连到从机上无法读取目录, 应该使用core-site.xml中的fs.defaultFS中的value值进行连接,避免使用ip,否则namenode主从切换后就会这样。通常Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅用来同步Active NameNode的状态。查看节点状态的命令：hdfs haadmin -getServiceState yourNamenodeName。
Hdfs主备切换导致spark应用中断
蜗牛^_^的博客
12-03 447
场景：使用structured streaming消费kafka中数据写入hdfs中 说明：集群有两个namenode，分别为node1,node2。起初node1状态为active，在程序中涉及hdfs路径的地方，写的是hdfs://node1:8020/your path。后来集群中node1为standby状态，node2为active状态，spark应用就会中断，除非将hdfs路径修改为...
Spark常见报错与问题解决方法
热门推荐
书忆江南的IT博客
04-21 4万+
1.org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow 原因：kryo序列化缓存空间不足。 解决方法：增加参数，--confspark.kryoserializer.buffer.max=2047m。 2.org.elasticsearch.hadoop.rest.EsHadoopNoN...
hbase、hadoop环境搭建及客户端访问
blfjvkwfn
04-10 1207
一、准备    1、下载ubuntu系统：ubuntu-17.10.1-server-amd64.iso        下载地址：https://www.ubuntu.com/download/server    2、下载jdk：jdk-8u144-linux-x64.tar.gz        下载地址：http://www.oracle.com/technetwork/java/javase/...
Storm集成HBase和HDFS.md
08-09
Storm集成HBase和HDFS
Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表
10-29
9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-address 50100 dfs.namenode.backup....
HDFS读文件并写入Hbase
07-10
从HDFS中读文件，用groupby进行sort，然后写入Hbase中
aspectjweaver AOP实现的Annotation Profiling和些HDFS和Spark helper 方法
最新发布
04-09
不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ <项目介绍> 1、该资源内项目代码都经过测试运行成功，...
解决HA模式下NameNode切换导致HMaster挂掉
weixin_44825085的博客
08-06 973
解决HA模式下NameNode切换导致HMaster挂掉 问题： 在我们自己搭建大数据集群学习的时候，往往因为机器配置不够高，导致虚拟机卡顿，节点莫名其妙挂掉。 在Hadoop的高可用集群下，机器配置不够两个namenode一直自动切换状态，导致了HBase集群的Hmaster节点挂掉。 问题产生的原因： 我们查看HBase的master日志： # 进入日志文件目录 [root@hadoop001 ~]# cd /opt/module/hbase-1.3.1/logs/ [root@hadoop001
Hadoop nn 主备切换导致HBase集群挂掉，HBase rs自动下线问题
03-14 292
2018-03-14 Hadoop nn 主备切换导致HBase集群挂掉问题 # 建立hdfs-site.xml文件的符号链接 ln -s /app/hadoop/etc/hadoop/hdfs-site.xml /app/hbase/conf # 修改hbase-site.xml文件的参数配置 将 <!--region服务器的共享目录，用来持久...
NameNode 的主备切换实现
libo__hadoop 大数据
12-28 3920
NameNode 主备切换主要由 ZKFailoverController、HealthMonitor 和 ActiveStandbyElector 这 3 个组件来协同实现： ZKFailoverController 作为 NameNode 机器上一个独立的进程启动 (在 hdfs 启动脚本之中的进程名为 zkfc)，启动的时候会创建 HealthMonitor 和 ActiveStand
Hbase之动态切换HMaster
南风知我意
08-01 894
node01机器上有hbase主节点和Namenode，随着数据的增加，node01负载现在处于90%的状态内存也处于90%左右。 现在要求`不重启切换一下Hbase主节点`，切换到负载低的机器上
hadoop+zookeeper高可用性集群出现两个namenode均为standby状态原因及解决方法
逆天骚年的博客
04-21 7279
使用hadoop fs -ls / 命令查看hdfs中的文件 报错如下：检查发现master和slave3两个NameNode的状态均为standby原因：先启动了hdfs再启动zookeeper 导致zookeeper的选举机制zkfc（DFSZKFailoverController）没有格式化 NameNode节点的自动切换机制没有开启 两个NameNode都处于standby状态解决方法：正...
hadoop在线平滑迁移NameNode
遥远的旅程
11-06 877
说明 由于 hdfs 的 namenode 如果没有 active 的后，会导致 hdfs 整个集群不可用，所以迁移 namenode 还需要小心。 通过 hdfs ha 模式迁移 hdfs namenode，保证 hdfs 的高可用，本文以较常用的 hbase 作为上游来举例。 由于 zk 中存了 namenode 的 host name 与 ip，所以hostname不能变，只能改变ip。 为...
hadoop(hdfs、yarn、hbase、hive和spark等)默认端口表
06-28
### 回答1： Hadoop是一个由Apache基金会开源的大数据处理框架，包含多个组件，每个组件都有默认的端口号。下面是hadoop各组件的默认端口表： 1. HDFS（Hadoop分布式文件系统）： - NameNode端口：50070 - SecondaryNameNode端口：50090 - DataNode端口：50075 2. YARN（Hadoop资源调度系统）： - Resource Manager Web界面：8088 - ResourceManager Scheduler端口：8030 - ResourceManager通信端口：8031 - Node Manager通信端口：8040 - Node Manager Web界面：8042 3. HBase（Hadoop数据库）： - Master端口：16000 - Master Web界面：16010 - RegionServer端口：16020 - RegionServer Web界面：16030 4. Hive（Hadoop数据仓库工具）： - HiveServer2端口：10000 - JDBC服务端口：10001 - Web界面端口：9999 5. Spark（分布式计算框架）： - Master Web界面：8080 - Master通信端口：7077 - Worker通信端口：8581 需要注意的是，这些端口都是默认设置，如果其中某些端口已被占用，需要修改配置文件中的端口号，并重启对应的服务。 ### 回答2： Hadoop是一个由Apache基金会开发的，用于分布式存储和处理大数据的开源软件框架。它主要包括HDFS、YARN、HBase、Hive和Spark等组件。这些组件在使用过程中，都会使用到一些默认端口。下面我来逐一介绍这些组件的默认端口表。 1. HDFS： HDFS是Hadoop的分布式文件系统，它用于存储海量的数据。它的默认端口是8020和50070。 - 8020：这是HDFS的RPC端口，用于处理与客户端的请求。 - 50070：这是HDFS的Web服务端口，用于向用户展示文件系统的整体状态。 2. YARN： YARN是Hadoop的资源管理系统，可以让用户在一个集群中运行各种应用程序。它的默认端口是8088和8030。 - 8088：这是YARN的Web服务端口，用于向用户展示集群整体的状态。 - 8030：这是YARN的RPC端口，用于处理与客户端的请求。 3. HBase： HBase是非关系型数据库，主要用于存储海量的结构化数据。它的默认端口是2181和16010。 - 2181：这是ZooKeeper服务的默认端口，HBase需要使用ZooKeeper来进行协调和管理。 - 16010：这是HBase的Web服务端口，用于向用户展示集群整体的状态。 4. Hive： Hive是一种基于Hadoop的数据仓库工具，可以让用户将结构化数据映射到Hadoop上进行分析。它的默认端口是10000。 - 10000：这是Hive的Thrift服务端口，用于与客户端进行交互。 5. Spark： Spark是一种快速而通用的计算引擎，可以支持Hadoop以外的数据处理。它的默认端口是7077和8080。 - 7077：这是Spark的Master的RPC端口，用于管理集群资源。 - 8080：这是Spark的Web服务端口，用于向用户展示集群整体的状态。 以上就是Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表，希望对大家了解Hadoop组件默认端口有所帮助。 ### 回答3： Hadoop是一个分布式计算框架，由HDFS、Yarn、HBase、Hive和Spark等组件构成。每个组件都有不同的功能和默认端口。以下是Hadoop各组件的默认端口表： 1. HDFS HDFS是Hadoop分布式文件系统，用于存储和管理大规模数据集。默认端口是9000。 2. Yarn Yarn是Hadoop的资源管理器，用于分配集群中的资源以及管理作业。默认端口是8088。 3. HBase HBase是一个非关系型数据库，用于存储海量数据并提供实时随机读写操作。默认端口是16010。 4. Hive Hive是一个数据仓库工具，用于处理大规模数据集。默认端口是10000。 5. Spark Spark是一个快速、通用的大数据处理引擎，主要用于数据处理和机器学习。默认端口是7077。 以上是Hadoop各组件的默认端口表，当然也可以根据配置文件进行修改。在使用Hadoop时，需要注意端口的使用和防火墙配置，确保能够正常地访问和使用各组件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值