hdfs HA 出现Cannot find any valid remote NN to service request

最新推荐文章于 2024-05-13 23:29:48 发布
最新推荐文章于 2024-05-13 23:29:48 发布
阅读量251 收藏 1
点赞数 2
分类专栏： Hadoop 文章标签： hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/M_red/article/details/136532254
版权
hdfs HA 出现Cannot find any valid remote NN to service request

【环境信息】
版本：cdp7.1.7
环境：测试集群
【问题描述】

在这里插入图片描述
所有的nameNode 都是standby状态,

【排查流程】

查看日志出现

Cannot find any valid remote NN to service request

在这里插入图片描述

【解决办法】

  1. 停掉HDFS的服务,备份好数据

  2. 在所有的nameNode上执行，

#初始化Hadoop高可用(HA)配置中的ZooKeeper Failover控制器(ZKFC)
hdfs zkfc -formatZK

然后重启HDFS服务即可

在这里插入图片描述

小戈爱学习
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
HadoopHA集群部署、HDFSHA配置、启动与验证教学课件.pptx
06-20
HDFS HA 配置、启动与验证;HDFS HA 配置、启动与验证;任务一 修改core-site.xml配置文件;任务二 修改hdfs-site.xml配置文件（一）;任务二 修改hdfs-site.xml配置文件（二）;任务二 修改hdfs-site.xml配置文件（三）;...
hdfs运维中遇到的问题
h952520296的博客
10-13 1683
HDFS在写的时候有设置块大小，默认128M，Distcp 从源集群读文件后写入新集群，默认是使用的MR任务中的dfs.blocksize 128M。4、在distcp写完文件后，会基于块的物理大小做校验，因为该文件在新旧集群中blocksize不一致，因此拆分大小不一致，导致校验失败。常见的网络不通 端口不通 hdfs拿到的主机名无法解析，没有配映射 ，如果双网卡 拿到的ip和能通的ip不一样。用这个命令看下拿到的ip是不是你能通的ip，还有hdfs本身是直接访问ip 还是通过主机名进行访问的。
Ambari 两个 NameNode 都为 standby
Lbg_007的博客
06-18 918
问题： NameNode move 失败后，出现两个 standby Namenode，无 active namenode。日志报错 Cannot find any valid remote NN to service request! 解决： 1，通过 ambari 界面关闭所有服务 2，登录两个 standby namenode 所在的节点并执行hdfs zkfc -formatZK （选 Y） 3，通过 ambari 界面启动 zkfc 及 namenode ，这个时候就有一个 ac.
hadoop-3.2.0 Error：Operation category JOURNAL is not supported in state standby
liangsw
06-28 1908
错误描述： org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category JOURNAL is not supported in state standby. Visit https://s.apache.org/sbnn-error at org.apach...
hadoop+zookeeper+hbase安装
tyrantcz的博客
12-19 1511
一、 部署前准备 写在前头：搭建hadoop+hbase需要考虑版本兼容情况，这个去官网上看，本文选用的是hadoop-3.1.1和hbase-2.1.1版本（官网是“not test”，最终搭建成功），jdk选用的1.8（开始选用的1.6，安装有问题）。 集群环境的搭建，有几个是必要的：ssh免密钥，服务器时钟同步。 hadoop的搭建还需要升级glibc的版本，2.12的版本会导致命令不可用，...
java连接hdfs ha和调用mapreduce jar示例
09-04
主要介绍了Java API连接HDFS HA和调用MapReduce jar包,需要的朋友可以参考下
HDFS HA和Federation安装部署方法
05-15
HDFS HA和Federation安装部署方法
Flume配置双HA hdfsSink.docx
06-17
通过修改flume源码实现flume向两个HA hadoop集群分发数据。
hadoop+hdfs+ha设置
10-28
hdfs ha设置文档
C# wpf 实现任意控件（包括窗口）更多调整大小功能
codeofcc的博客
01-15 2847
上一章我们已经实现了任意控件统一的拖动调整功能，能够方便的给任意控件设置拖动调整大小。开发过程中发现还是有些功能可以继续拓展的，比如cs代码触发拖动、自定义模板、交叉拖动、限制拖动范围等功能。有功能实现起来不算太容易，却很有实用价值。
WPF基础学习笔记
浅尝辄止的博客
05-08 841
XAML是可扩展应用程序标记语言，是一种基于XML的声明性语言，可用于创建应用程序UI将界面设计与逻辑编码分离标签化的语法，通俗易懂xaml前端所需要绑定的字段，数据源等，都来自于后端的ViewModel，这个ViewModel就是需要绑定的上下文，不然找不到对应的数据源前段绑定的字段被重新赋值时，需要通过通知更改去更新前端的值，在属性的set方法中去调用通知更改的方法，传递的参数可以值要修改的属性的名称，也可以为空。WinForm里面的事件驱动模型，当界面跟业务发生改变时，需要改动的地方会比较多。
大数据中服役新数据节点和退役旧节点步骤（hive，hadoop）
m0_62008384的博客
05-07 715
当要新上线数据节点的时候 ，需要把数据节点的名字追加在 dfs.hosts（1）关闭新增节点的防火墙（2）在 NameNode 节点的 hosts 文件中加入新增数据节点的 hostname（3）在每个新增数据节点的 hosts 文件中加入 NameNode 的 hostname（4）在 NameNode 节点上增加新增节点的 SSH 免密码登录的操作（5）在 NameNode 节点上的 dfs.hosts 中追加上新增节点的 hostname,
2024统计建模中国新质生产力统计测度与时空演变及其驱动因素研究
最新发布
2301_77933700的博客
05-13 378
然而，尽管AI和大数据对新质生产力的贡献日益凸显，如何科学地统计测度这一贡献、分析其时空演变特征以及识别其背后的驱动因素，仍是学术界和政策制定者面临的重要课题。在这一定义下，AI和大数据不仅改变了生产和消费的方式，还促进了新产业、新模式和新业态的产生，对经济社会发展产生了深远的影响。分析揭示了AI和大数据技术对新质生产力区域和行业差异的影响机制。综上所述，本研究不仅丰富了新质生产力的理论内涵，【1.5w字全网最佳】2024统计建模大赛高质量成品论文39页+配套完整代码运行+全套数据集
测试环境搭建整套大数据系统（十六：超级大文件处理遇到的问题）
weixin_43446246的博客
05-10 338
日志：1/1 local-dirs usable space is below configured utilization percentage/no more usable space [ /opt/hadoop-3.2.4/data/nm-local-dir : used space above threshold of 90.0% ];
docker部署elasticsearch7.7.0级拼音(pinyin)插件和分词(ik)插件
debugcool的博客
05-07 418
进入容器并解压该文件到相应的目录。拉取并启动kabana。安装pinyin插件。
第十四章大数据与数据科学练习
weixin_48277834的博客
05-12 648
A：预测性分析和规范性分析B：描述性分析和预测性分析C：描述性分析和规范性分析D：预见性分析和规范性分析正确答案：A 你的答案：A解析：389页第四点及下方图表，数据科学的两种分析模式分别是预测性分析和规范性分析。
【JavaSE】/*初识Java*/
Green小光
05-07 915
【JavaSE】/*初识Java*/
谈谈HDFS Federation和 HDFS HA的区别。
07-12
你意识到自己在实验过程中的不足之处，并找到改进的方向。你可以提HDFS Federation和HDFS HA是Hadoop分布式文件系统（HDFS）中实现高可用性和扩展性的两种不同机制，它们有以下区别： 1. 目标：HDFS Federation的目标是实现HDFS的水平扩展，通过将命名空间划分为多个命名空间（Namespace），每个命名空间有自己的NameNode负责管理，从而提高系统的整体容量和吞吐量。而HDFS HA的目标是实现HDFS的高可用性，通过在集群中配置主备两个Name及自己在实验中遇到的困难和挑战，以及在解决问题时所采取的策略Node，当主节点发生故障时，备用节点可以快速接管服务。 2. 组件数量：HDFS Federation涉及多个NameNode和多个命名空间，每个命名空间都有一个独立的NameNode。而HDFS HA只涉及两个NameNode，即主节点和备用节点。 3. 命名空间划分：HDFS Federation将整个文件系统的命名空间划分为多个命名空间，并且每个命名空间有自己的NameNode。这样可以将文件系统的负载分散到多个NameNode上，提高系统的扩展性。而HDFS HA只有一个命名空间，主备两个NameNode共享同一个命名空间。 4. 故障切换方式：在HDFS Federation中，当某个命名空间的NameNode发生故障时，只会影响该命名空间下的文件系统操作，其他命名空间仍然可用。而在HDFS HA中，当主节点发生故障时，备用节点会接管整个文件系统的服务，实现快速故障切换。 5. 配置和管理：HDFS Federation需要配置和管理多个NameNode和命名空间，这需要更多的配置和管理工作。而HDFS HA只需要配置和管理主备两个NameNode，相对来说更加简单。 总的来说，HDFS Federation是为了实现HDFS的水平扩展，提高系统的容量和吞吐量；而HDFS HA是为了实现HDFS的高可用性，确保系统在主节点故障时能够快速恢复。它们分别解决了HDFS的扩展性和可靠性问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值