hadoop HDFS HA 测试后双standby模式

最新推荐文章于 2023-08-22 15:32:29 发布
最新推荐文章于 2023-08-22 15:32:29 发布
阅读量2k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/levy_cui/article/details/51142782
版权
今天测试HDFS群集active和standby切换，过程中出现了两个standby模式，运行hadoop命令出现如下报错，
15/05/18 16:31:12 INFO retry.RetryInvocationHandler: Exception while invoking getFileInfo of class ClientNamenodeProtocolTranslatorPB over Master1/192.168.19.194:9000 after 13 fail over attempts. Trying to fail over after sleeping for 14300ms.
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby

意思是standby模式不能提供写入，使用如下命令解决：
hdfs haadmin -transitionToActive --forcemanual Master1
让Master1变更为active模式。

TURING.DT
关注
HDFS HA支持多Standby节点机制
走在前往架构师的路上
09-22 3677
前言 在现有的HDFS中，为了保证其高可用性，社区在早些年就已经完成HDFS的HA机制，也就是One Active，One Standby。在此种情况下，HDFS能够容忍其中一个节点出现失败的情况。这套HA机制的实现的确给用户带来了很大的帮助，基于此特性，我们可以做很多集群上的热操作，比如热迁移NameNode，或者滚动升级HDFS等等。可能唯一让人感觉还不是最好的一点是，它不能容忍更多失败
Hadoop2.7.5HA的安装和测试
Xlucas的博客
02-04 1132
这篇文章我们只介绍Hadoop HA的安装和配置，不会深入讲解HA的原理。 1、集群的规划 主机名 IP 安装的软件 运行的进程 cdh1 192.168.18.160 jdk、hadoop NameNode DFSZKFailoverController(zkfc)、ResourceManager cd
Hadoop之HA验证
海贼的船
09-30 1550
引言： 前面转载过一篇团队兄弟【伊利丹】写的NN HA实验记录，我也基于他的环境实验了NN HA对于Client的透明性。见 http://www.linuxidc.com/Linux/2014-09/106290.htm 本篇文章记录的是亲自配置NN HA的详细全过程，以及全面测试HA对客户端访问透明性的全过程，希望对大家有帮助。 实验环境： Hadoop2.2.0的4节点集
Hadoop：HA环境的搭建与测试
Xiao Miao的博客
04-25 997
HA环境的搭建与测试
hadoop系列之完全分布式+HA 环境搭建及测试验证
LUFANZHENG的专栏
10-09 801
前置条件： 已制作好CentOS 虚拟机模板。 该模板安装好Oracle JDK，且 JAVA_HOME 值为/usr/java/jdk1.8.0_171-amd64/jre。 CentOS 模板安装可参考博客： https://blog.csdn.net/gobitan/article/details/80993354   准备三台虚拟机 搭建完全 Hadoop 分布式+HA 最少需要...
HDFS HA高可用状态转换
最新发布
destinyoooooooo的博客
08-22 1207
【代码】HDFS HA高可用状态转换。
HadoopHA集群部署、HDFSHA配置、启动与验证教学课件.pptx
06-20
这通常包括检查NameNode的状态（是否能正确切换Active和Standby状态），测试文件系统的读写操作，以及通过HDFS命令验证数据一致性。例如，可以使用`hdfs haadmin -failover`命令强制切换NameNode状态，观察系统是否...
Hadoop-HDFS详解与HA，完全分布式集群搭建(细到令人发指的教程)
wudidahuanggua的博客
09-17 3348
对HDFS细致到腋毛的讲解，包括HA，完全分布式集群搭建，以及让你打瞌睡的理论知识！
Hadoop 3.3.2 HDFS Simple认证Standby同步格式化信息失败 Authentication required
sinat_27418407的博客
03-17 2900
文章目录背景认证配置方式解决方式修改源码回退版本Nginx HTTP代理Kerberos认证 背景 参考文档配置Hadoop HTTP Authentication Simple认证，在2.7.7版本工作正常，升级到3.3.2版本后出现以下异常。 ... 2021-02-25 21:18:52,356 ERROR [main] org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode. java.io.IOExcept
HadoopHA集群部署、YARNHA测试Job教学课件.pptx
06-20
【Hadoop HA 集群部署与 YARN HA 测试Job 教学】 在大数据处理领域，Hadoop 是一个至关重要的分布式计算框架，它提供了高可用性（HA）的特性来确保服务的连续性和稳定性。Hadoop HA 主要指的是 HDFS（Hadoop ...
hadoopHA(高可用)namenode节点配置故障自动转移失败
盖世英雄来了
04-03 1836
在配置ha高可用的配置中，按照网上博客教程配置hdfs的故障自动转移失败， 举例来说：bigdata1和bigdata2这两个namenode节点 配置完成后，将bigdata1设置为active bigdata2设置为standby 然后用kill -9 xxxx杀死bigdata1的进程，发现，bigdata2并没有自动转换成active，依然是standby 查看...
CDH集群启动后使用Hive报错解决办法
zhangbinu
11-06 1260
CDH集群启动后使用Hive报错： 解决方案： 查看状态二个namenode节点都为standby状态： $./hdfs haadmin -getServiceState namenode1 standby $./hdfs haadmin -getServiceState namenode2 standby 在CM界面手动切换即可： ...
【大数据】HDFS管理员命令行(Administration Commands)详细使用说明
如切如磋，如琢如磨，臻于至善。
03-08 518
HDFS命令行使用说明文档，比如常见的 bin/hdfs dfs -ls /; bin/hdfs dfs -rm ; bin/hdfs fsck等等命令详解 本文主要是hdfs 管理员的相关命令详解
停止启动集群命令
laomanong521的专栏
02-14 1470
192.168.2.101   hadoop beixin*K88 切记一定要用hadoop账户 停止hadoop集群 cd /opt/hadoop-2.6.0/sbin ./stop-all.sh hbase集群关闭 cd /opt/hbase-0.98.11/bin ./stop-hbase.sh zookeeper集群关闭 ser
记两次NameNode响应延时问题
热门推荐
走在前往架构师的路上
08-13 3万+
前言 最近一两周,本人在维护公司内部集群的时候,遇到了一些性能问题,(可能这些问题以前也都存在,只是不容易被发现)表现出来的特征就是NameNode响应请求非常慢,然后导致各种超时,用户体验非常糟糕.因为本人目前使用的版本是2.7.1(社区最新发布版本2.7.2),应该算是非常新的版本了,在这个版本目前已经存在这个问题,那么在往前的一些版本中也肯定存在类似问题.下面是本人在最近集群运维过程中
hadoop distcp Invalid arguments:错误解决办法
teak_on_my_way的博客
11-15 1990
19/11/15 18:32:50 ERROR tools.DistCp: Invalid arguments: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby. Visi...
hdfs（二）高可用单NameNode从standby恢复为active
Interest1_wyt的博客
01-22 2434
将高可用hdfs ha降为单namenode可行。如果两个namenode有一个不能用了，紧急情况下就可以通过修改配置的方式将hdfs降低为单namenode的集群继续进行工作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值