hdfs HA 出现Cannot find any valid remote NN to service request

最新推荐文章于 2024-05-29 00:00:00 发布
最新推荐文章于 2024-05-29 00:00:00 发布
阅读量261 收藏 1
点赞数 2
分类专栏： Hadoop 文章标签： hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/M_red/article/details/136532254
版权
hdfs HA 出现Cannot find any valid remote NN to service request

【环境信息】
版本：cdp7.1.7
环境：测试集群
【问题描述】

在这里插入图片描述
所有的nameNode 都是standby状态,

【排查流程】

查看日志出现

Cannot find any valid remote NN to service request

在这里插入图片描述

【解决办法】

  1. 停掉HDFS的服务,备份好数据

  2. 在所有的nameNode上执行，

#初始化Hadoop高可用(HA)配置中的ZooKeeper Failover控制器(ZKFC)
hdfs zkfc -formatZK

然后重启HDFS服务即可

在这里插入图片描述

小戈爱学习
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
HDFS Multiple Standby原理分析
走在前往架构师的路上
05-05 875
文章目录前言HDFS Multiple Standby的实现要素Multiple Standby实现分析 前言 HDFS在早期实现HA时，是标准的一主一备的服务模式，主的叫Active NameNode，备的叫Standby NameNode。Standby/Active NN间可以互相切换以此达到服务高可用的目的。但是这种双节点的HA模式是否能够满足更高的高可用性的要求呢?在标准的HA模式下，其实只有1个Standby的NN作为bak来使用。假设在极端情况下，Active和Stanby同时出现crash
java连接hdfs ha和调用mapreduce jar示例
09-04
主要介绍了Java API连接HDFS HA和调用MapReduce jar包,需要的朋友可以参考下
hdfs运维中遇到的问题
h952520296的博客
10-13 1697
HDFS在写的时候有设置块大小，默认128M，Distcp 从源集群读文件后写入新集群，默认是使用的MR任务中的dfs.blocksize 128M。4、在distcp写完文件后，会基于块的物理大小做校验，因为该文件在新旧集群中blocksize不一致，因此拆分大小不一致，导致校验失败。常见的网络不通 端口不通 hdfs拿到的主机名无法解析，没有配映射 ，如果双网卡 拿到的ip和能通的ip不一样。用这个命令看下拿到的ip是不是你能通的ip，还有hdfs本身是直接访问ip 还是通过主机名进行访问的。
Ambari 两个 NameNode 都为 standby
Lbg_007的博客
06-18 920
问题： NameNode move 失败后，出现两个 standby Namenode，无 active namenode。日志报错 Cannot find any valid remote NN to service request! 解决： 1，通过 ambari 界面关闭所有服务 2，登录两个 standby namenode 所在的节点并执行hdfs zkfc -formatZK （选 Y） 3，通过 ambari 界面启动 zkfc 及 namenode ，这个时候就有一个 ac.
hadoop+zookeeper+hbase安装
tyrantcz的博客
12-19 1512
一、 部署前准备 写在前头：搭建hadoop+hbase需要考虑版本兼容情况，这个去官网上看，本文选用的是hadoop-3.1.1和hbase-2.1.1版本（官网是“not test”，最终搭建成功），jdk选用的1.8（开始选用的1.6，安装有问题）。 集群环境的搭建，有几个是必要的：ssh免密钥，服务器时钟同步。 hadoop的搭建还需要升级glibc的版本，2.12的版本会导致命令不可用，...
hadoop-3.2.0 Error：Operation category JOURNAL is not supported in state standby
liangsw
06-28 1913
错误描述： org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category JOURNAL is not supported in state standby. Visit https://s.apache.org/sbnn-error at org.apach...
HDFS报错解决：Operation category JOURNAL is not supported in state standby
学亮编程手记
07-31 1089
现象： org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category JOURNAL is not supported in state standby. Visit https://s.apache.org/sbnn-error at org.apache.hadoop.hdfs.server.namenode.ha.StandbyState.checkOperation
Hadoop配置文件_hdfs-default.xml
weixin_43870699的博客
01-18 1850
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agre...
hdfs-default.xml
weixin_30710457的博客
08-19 155
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor ...
HDFS 默认配置
weixin_34085658的博客
05-10 320
2019独角兽企业重金招聘Python工程师标准>>> ...
HadoopHA集群部署、HDFSHA配置、启动与验证教学课件.pptx
06-20
HDFS HA 配置、启动与验证;HDFS HA 配置、启动与验证;任务一 修改core-site.xml配置文件;任务二 修改hdfs-site.xml配置文件（一）;任务二 修改hdfs-site.xml配置文件（二）;任务二 修改hdfs-site.xml配置文件（三）;...
HDFS HA和Federation安装部署方法
05-15
HDFS HA和Federation安装部署方法
Flume配置双HA hdfsSink.docx
06-17
通过修改flume源码实现flume向两个HA hadoop集群分发数据。
hadoop+hdfs+ha设置
10-28
hdfs ha设置文档
C# wpf 实现任意控件（包括窗口）更多调整大小功能
codeofcc的博客
01-15 2906
上一章我们已经实现了任意控件统一的拖动调整功能，能够方便的给任意控件设置拖动调整大小。开发过程中发现还是有些功能可以继续拓展的，比如cs代码触发拖动、自定义模板、交叉拖动、限制拖动范围等功能。有功能实现起来不算太容易，却很有实用价值。
计算机毕业设计hadoop+spark+hive物流大数据分析平台 物流预测系统 物流信息爬虫 物流大数据 机器学习 深度学习
最新发布
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
05-29 112
计算机毕业设计hadoop+spark+hive物流大数据分析平台 物流预测系统 物流信息爬虫 物流大数据 机器学习 深度学习
hadoop学习笔记
皮鞭蘸碘伏边抽边消毒
05-28 350
Hadoop 是一个开源的分布式存储和计算框架，旨在处理大规模数据集并提供高可靠性、高性能的数据处理能力。它主要包括以下几个核心组件：Hadoop 分布式文件系统（HDFS）：HDFS 是 Hadoop 的分布式文件存储系统，用于存储大规模数据，并通过数据的副本和自动故障恢复机制来提供高可靠性和容错性。
谈谈HDFS Federation和 HDFS HA的区别。
07-12
你意识到自己在实验过程中的不足之处，并找到改进的方向。你可以提HDFS Federation和HDFS HA是Hadoop分布式文件系统（HDFS）中实现高可用性和扩展性的两种不同机制，它们有以下区别： 1. 目标：HDFS Federation的目标是实现HDFS的水平扩展，通过将命名空间划分为多个命名空间（Namespace），每个命名空间有自己的NameNode负责管理，从而提高系统的整体容量和吞吐量。而HDFS HA的目标是实现HDFS的高可用性，通过在集群中配置主备两个Name及自己在实验中遇到的困难和挑战，以及在解决问题时所采取的策略Node，当主节点发生故障时，备用节点可以快速接管服务。 2. 组件数量：HDFS Federation涉及多个NameNode和多个命名空间，每个命名空间都有一个独立的NameNode。而HDFS HA只涉及两个NameNode，即主节点和备用节点。 3. 命名空间划分：HDFS Federation将整个文件系统的命名空间划分为多个命名空间，并且每个命名空间有自己的NameNode。这样可以将文件系统的负载分散到多个NameNode上，提高系统的扩展性。而HDFS HA只有一个命名空间，主备两个NameNode共享同一个命名空间。 4. 故障切换方式：在HDFS Federation中，当某个命名空间的NameNode发生故障时，只会影响该命名空间下的文件系统操作，其他命名空间仍然可用。而在HDFS HA中，当主节点发生故障时，备用节点会接管整个文件系统的服务，实现快速故障切换。 5. 配置和管理：HDFS Federation需要配置和管理多个NameNode和命名空间，这需要更多的配置和管理工作。而HDFS HA只需要配置和管理主备两个NameNode，相对来说更加简单。 总的来说，HDFS Federation是为了实现HDFS的水平扩展，提高系统的容量和吞吐量；而HDFS HA是为了实现HDFS的高可用性，确保系统在主节点故障时能够快速恢复。它们分别解决了HDFS的扩展性和可靠性问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值