Hadoop-2.4.1学习之高可用ResourceManager

最新推荐文章于 2023-10-19 21:17:44 发布
最新推荐文章于 2023-10-19 21:17:44 发布
阅读量9.7k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Hadoop-2.x Hadoop 文章标签： Hadoop-2.4.1 yarn ResourceManager HA 故障转移
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/skywalker_only/article/details/41726189
Hadoop 同时被 2 个专栏收录
49 篇文章 ¥9.90 ¥99.00
订阅专栏
Hadoop-2.x
29 篇文章 ¥9.90 ¥99.00
订阅专栏
本文介绍了Hadoop-2.4.1中YARN的ResourceManager实现高可用性的方法，通过Active/Standby架构，利用ZooKeeper进行故障转移。在启用HA模式下，ResourceManager支持手动或自动故障转移，确保系统的稳定性。配置包括在yarn-site.xml中设置多个RMs，并可以选择使用FileSystemRMStateStore或ZKRMStateStore作为状态存储。同时，提供了CLI工具进行RM状态查看和故障转移操作。

       在Hadoop-2.4之前，Yarn中的ResourceManager也是单点故障中的，就像Hadoop-1.x中的NameNode，由于Hadoop-2.X已经支持NameNode的HA（高可用性），那么自然也要在hadoop的某个版本中实现ResourceManager的HA，否则又会招致一些事后诸葛亮的诟病。本文将介绍RM的高可用性，并详细学习如何配置和使用该特性。就像NameNode的HA一样，ResourceManager的HA也是通过冗余的Active/Standby ResourceManagers消除单点故障所存在的问题。

      RM的HA架构如下（引自官方图片），该图所展示的架构与NameNode有很多相似之处，比如支持自动或手动的故障转移，使用ZooKeeper保存Active RM的状态等。


      ResourceManager的HA是通过Active/Standby架构实现的，在任何时间点只有一个RM处于active状态，而剩余的RM（一个或多个）则处于standby状态，时刻准备着接管active的工作。可以通过在CLI输入命令或者在自动故障转移启动的前提下通过集成的故障转移控制器实现standby到active的转换，也就是手动故障转移和自动故障转移。

      在没启用自动故障转移的情况下，管理员必须手动地将处于

了解本专栏 订阅专栏 解锁全文
【hadoop】java 获取 yarn app 信息 报错 ConfiguredRMFailoverProxyProvider - Failing over to rm2
九师兄
04-07 5937
java 获取 yarn app 信息 报错 这个原因是没有配置相关的 2.场景2 本次是对方kerberos认证环境出现问题，也会报错这个 改问题最终解决，参考：【hadoop】java连接hadoop Kerberos 24小时过期问题
hadoop_NameNode、ResourceManager高可用原理
dongkang123456的博客
03-27 748
因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问，同时 Hadoop 生态系统中依赖于 HDFS 的各个组件，包括 MapReduce、Hive、Pig 以及 HBase 等也都无法正常工作，并且重新启动 NameNode 和进行数据恢复的过程也会比较耗时。当 active NameNode 执行了修改命名空间的操作时，它会定期的将执行的操作记录在editLog中，standby 会一直监听 JNS上的editlog的变化。
Cannot execute /usr/bin/hadoop/libexec/hdfs-config.sh
weixin_30848775的博客
06-04 1万+
今天遇到一个新的情况，试图重启Datanode发现，报错Cannot execute /usr/bin/hadoop/libexec/hdfs-config.sh 其中/usr/bin/hadoop并不是真是存在的路径 发现可能是前人配置的HADOOP_HOME全局变量导致的问题 在/etc/profile中找到了这个全局变量，将其删除 运行了source /etc/profile后，发...
输入hadoop version时，解决Cannot execute /home/hadoop/libexec/hadoop-config.sh.的方法
nry011015的博客
11-13 4095
解决Cannot execute /home/hadoop/libexec/hadoop-config.sh.的方法
Hadoop ResourceManager:
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
05-25 620
负责全局的资源管理和任务调度，把整个集群当作计算资源池，只关注分配，不管应用，且不负责容错 资源管理： 1.以前资源是每个节点分成一个个的Mapslot和Reduce slot，现在是一个个Container,每个Container可以根据需要运行APPlicatioonMaster,Map,Reduce或者任意的程序 2.以前的资源分配是静态的，目前是动态的，资源利用率更高 3.Container是资源申请的单位，一个资源申请格式<resource-name, priority, resource-
Hadoop启动时出现错误：Cannot execute /home/hadoop/libexec/hadoop-config.sh.
taitaitai0101的博客
10-19 1万+
Hadoop启动时出现错误：Cannot execute /home/hadoop/libexec/hadoop-config.sh.的解决方法
hadoop-2.4.1版本大数据
12-06
总结，Hadoop 2.4.1在大数据处理领域扮演着关键角色，通过单机模拟分布式环境，开发者和学习者能够更好地理解和掌握其工作原理，从而利用Hadoop解决实际的大数据问题。随着技术的不断发展，Hadoop将持续优化，为...
hadoop-2.4.1安装软件包以及教程jdk.zip
10-25
3.安装hadoop2.4.1 先上传hadoop的安装包到服务器上去/home/hadoop/ 注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop 伪分布式需要修改5个配置文件 3.1配置hadoop 第一个：hadoop-env.sh vim hadoop-env.sh...
hadoop-2.4.1-src
08-01
HDFS是一种分布式文件系统，能够将大文件分布在多个节点上，提供高容错性和高可用性。它将大文件分割成块，并在集群的不同节点上复制，以确保数据的安全性和可靠性。而MapReduce则是Hadoop用于并行处理大规模数据的...
hadoop-2.4.1.zip
最新发布
11-20
此外，Hadoop 2.4.1还包含了Hadoop的其他相关组件，如Hadoop Common，它是所有Hadoop模块的基础，包含各种通用工具和服务。Hadoop的网络库、配置管理、I/O机制等都属于这一部分。还有Hadoop的其他子项目，如HBase...
Hadoop无法进行hdfs的问题[已解决]
欢迎光临~
12-02 3470
很久没打开集群，上课需要连接时start-all.sh后，显示连接被拒绝（忘记截图了，报错信息是这样） ls: Call From hadoop01/192.168.60.128 to hadoop01:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
YARN新特性-ResourceManager 高可用机制
weixin_30377461的博客
01-11 592
ResourceManager 高可用机制架构 在Hadoop2.4 中添加了Active/Standby ResourceManager 的方式来解决ResourceManager 的单点故障问题。 Active ResourceManager 会将状态信息写入到ZooKeeper 集群之中，如果Active ResourceManager 挂了，那么可以将Standby Reso...
【总结】使用livy 提交spark任务时报错Connection refused
Java高手真经
06-27 1732
使用livy 提交spark任务时报错，错误信息：java.net.ConnectException: Call From dev-d-01.hz/10.192.168.62 to dev-d-02.hz:8032 failed on connection exception: java.net.ConnectException: Connection refused。原因是livy 代理用户不存在或者不生效，去掉livy 代理用户后，就可以正常提交任务了。...
yarn高可用队列报错
leezsj的博客
07-05 6149
submitted by user root to unknown queue: qfuser INFO client.ConfiguredRMFailoverProxyProvider: Failing over to rm2 原因在于默认的节点并不处于active状态， 解决方法，找到现在处于active状态的resourcemanagerkill jps 查看运行的服务 kill -9 要杀死的id yarn-deamon.sh start resourcemanager 重启resour.
kylin 在Yarn HA模式下报错
mnasd的博客
04-26 1341
yarn 非ha的时候是没问题的 在HA模式下，发现报错，信息如下： java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.yarn.client.RequestHedgingRMFailoverProxyProvider not found yarn.client....
解决在命令行中出现/usr/local/hadoop/libexec/hadoop-functions.sh: 行 1185: dirname: 未找到命令
热门推荐
someby的博客
02-22 1万+
问题描述： 在部署了hadoop后，进入到终端和输入source  ~/.bashrc后出现 hadoop已经安装了很久了，都没有遇到这样的问题 ，突然出现，有点猝不及防。 问题分析与排查： 1.出现这个问题的时候，我第一反应是我自己在配置其他软件的环境变量的时候修改了配置文件，在不注意的情况下输入了其他的字符，导致文件的中的变量有所变化，但是我打开环境变量的配置文件的时候，没有检查到...
hadoop 常见问题记录
cai5的专栏
05-15 9354
1 运行  ：hadoop namenode -format 报错误信息如下： 14/05/15 17:13:35 INFO common.Storage: Cannot lock storage /usr/hadoop/dfs/name. The directory is already locked. 14/05/15 17:13:35 ERROR namenode.NameNode:
如何解决Cannot execute /home/hadoop/hadoop2.8/libexec/hadoop-config.sh.的方法
芒果summer小仙女
09-23 1万+
刚刚在centos用./hadoop version遇到了一个错误：Cannot execute /home/hadoop/hadoop2.8/libexec/hadoop-config.sh. 首先要知道/home/hadoop是一个不存在的路径 解决方法：在/etc/profile中找到了这个HADOOP_HOME全局变量，将其删除 运行source /etc/profile 在~/....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

skyWalker_ONLY

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值