HDFS和YARN的HA架构梳理

最新推荐文章于 2021-12-04 18:07:13 发布
VIP文章 最新推荐文章于 2021-12-04 18:07:13 发布
阅读量291 收藏
点赞数
分类专栏： Hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/muyingmiao/article/details/99736523
版权

HDFS介绍

HDFS由四部分组成，HDFS Client、NameNode（NN）、DataNode（DN）和Secondary NameNode（SSN）。 HDFS是一个主/从（Mater/Slave）体系结构，HDFS集群拥有一个NameNode和一些DataNode。NameNode管理文件系统的元数据，DataNode存储实际的数据。

HDFS HA的架构图

1.DN

同时向NN1 NN2发送心跳和块报告。
如下连个参数在hdfs-site.xml配置
dfs.heartbeat.interval：DN的心跳检测时间间隔，默认3秒
dfs.blockreport.intervalMsec：控制DN定期将当前该结点上所有的BLOCK信息报告给NN的时间间隔，默认21600000ms = 6小时

2.ACTIVE NN

接收client的rpc请求并处理,将操作记录写到自己的editlog
同时将editlog写入JN集群->同时写向共享存储的editlog࿰
最低0.47元/天 解锁文章
muyingmiao
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop-2.8.1+Zookeeper-3.4.6(HDFS,YARN HA)部署指南
12-26
Hadoop-2.8.1+Zookeeper-3.4.6(HDFS,YARN HA)部署指南
zookeeper delete yarn rmstore
nickyu888的博客
05-21 1359
cdh6.2仍然无法解决zookeeper注册信息过期造成yarn的主备脑裂问题。 摘录别人的文章：https://sukbeta.github.io/zookeeper-delete-yarn-rmstore/ 错误日志（日志可能会有不同，现象就是无法手动切换主备） 2019-06-16 21:07:39,030 WARN org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger: USER=yarn OPERATION=transitionT
yarn无法删除zk node: /rmstore
那又怎样？的博客
06-14 2060
以下情况均基于cm的集群，未测试手工搭建的集群，但是感觉一样，因为如下参数： 并未在cm中找到，所以cm也应该是默认来的。 ====================================测试================================= 1.链接zk客户端，并删除/rmstore，发现有权限限制： /opt/cloudera/parcels/CDH/b...
Hadoop高可用特性解析
PunC的专栏
11-20 1266
HDFS采用的是fsimage + edits的存储方式，fsimage是某个时间的内存文件系统镜像，edits是修改操作，每个修改操作称为一个事务，有一个整形的事务id指定。checkpoint的时候就存储一次fsimage，同时可以删除之前的edits。另外edits切割为很多segement，不同的segment都包含一段修改操作记录，正在写入的segment的文件名有inprogress和
HDFS 和 YARN 的 HA 故障切换
热门推荐
Zephyr's Blog
01-01 1万+
一 非 HDFS HA 集群转换成 HA 集群 二 HDFS 的 HA 自动切换命令 1 获得当前 NameNode 的 active 和 standby 状态 2 NameNode 的 active 和 standby 状态切换 3 HDFS HA自动切换比手工切换多出来的步骤 三 ResourceManager 的 HA 自动切换命令 1 获得当前 RM 的 active 和 standb
大数据之ZKFC和YARN的job提交
JeitZz的博客
04-25 181
自动容灾（ZKFC） ZKFC（是一个进程，和NN在同一个物理节点上）有两只手，分别拽着NN和Zookeeper。 (监控NameNode健康状态，并向Zookeeper注册NameNode)；集群一启动，2个NN谁是 Active？谁又是Standby呢？ 2个zkfc先判断自己的NN是否健康，如果健康，2个zkfc会向zoopkeeper集群抢着创建一个 节点，结果就是只有1个会最终创建成功，从而决定active地位和standby位置。如果 ZKFC1抢到了节点，ZKFC2没有抢到，ZKFC2也会监控
浅析HDFS架构和设计
02-24
下面主要讲下HDFS设计中的比较重要的点，使读者能通过简短的文章一窥HDFS的全貌，适合对HDFS有一点了解，但是对HDFS又感到困惑的初学者。本文主要参考的是。当数据集的大小超过了一台物理机所能存储的能力时，就需要...
【自动化脚本】自动启动hdfs/yarn/spark HA集群
03-05
脚本功能：启动集群 前提：配置好执行脚本的主机到其他主机的ssh登录 脚本使用：vim编辑脚本，按照自己的配置修改主机号，我的是hadoop1、2是NN；hadoop2、3是Spark Master；hadoop3还是RM；hadoop4、5、6是DN、NM、...
HDFS架构和实现机制简介
01-07
本节将对 HDFS 的整体架构和基本实现机制进行简单介绍。 HDFS 整体架构 HDFS 是一个主从 Master/Slave 架构。一个 HDFS 集群包含一个 NameNode，这是一个 Master Server，用来管理文件系统的命名空间，以及调节...
用hive执行select查询，使用mapreduce离线查询就一直卡在这里，原来是yarn出了问题，两个节点都是standby！【已解决】
一个bug修一年的博客
01-23 859
求高人指点！！！
YARN的容错机制
阿松的博客
12-04 1448
MRv1中采用的Master/Slave架构，存在单点故障问题，作为分布式系统，YARN具备高容错性，各个服务组件的容错机制如下： ApplicationMaster容错：RM监控AM的运行状态，一旦发现它运行失败或者超时，就会重新分配资源并启动它，启动之后AM内部的状态如何恢复由自己保证，比如MRAppMaster在作业运行过程中将状态信息动态记录到HDFS上，一旦出现故障重启后，它能够从HDFS读取并恢复之前的运行状态，减少重复计算带来的开销。 NodeManager容错：NM超时没有心跳，则RM认为
YARN HA解析
一亩三分地
03-14 785
RM: a.启动时会向 ZK的 hadoop-ha目录写一个lock文件，写成功标识active，否则standby rm会一直监控lock文件是否存在，如果不存在就尝试去创建，争取为active rm. b.会接收client的任务的请求，接收和监控nm的资源汇报，负责资源的分配调度，启动和监控applicationmaster . NM: 节点上资源的管理，启动容器contai...
yarn-HA(高可用)配置
qq_57193542的博客
09-29 1072
在我上一篇文章中已经配置好了HDFS的高可用，接下来我们来配置yarn的高可用，其实很简单，只需要改一个yarn-site.xml配置文件即可（本文需要已经配好Hadoop集群 zookeeper集群，未配好请跳转我上一篇文章HDFS HAhttps://blog.csdn.net/qq_57193542/article/details/120535500） yarn-site.xml配置如下 <configuration> <!-- 指定 MR 走 shuffle -->
hadoop2.7.3 HA YARN 环境搭建
archer的技术故事
12-09 4912
hadoop2.7.3 HA YARN 环境搭建 本文主要参考： http://www.cnblogs.com/captainlucky/p/4654923.html 本文实现前提： 1、已经能够搭建hadoop HA集群，并且正常运行。如果还只是基本的hadoop的完全分布式集群，建议看一下关于hadoop HA hdfs环境搭建的文章： http://blog.csdn.
HDFS HA和Yarn HA的区别
weixin_40420525的博客
11-27 367
1. ZKFC HDFS中ZKFC作为单独的进程 Yarn中ZKFC是RM中的线程 2.从节点 HDFS中的DataNode 会向两个NameNode同时发送心跳。 Yarn中NodeManager只会向activeRM上报资源
HDFS-HA与yarn-HA配置
不停
10-15 403
# 一 配置 ## 1. 在opt目录下创建一个ha文件夹，改权限 ```javascript sudo mkdir ha sudo chown atguigu:atguigu /opt/ha ``` ## 2. 将/opt/module/下的 hadoop-3.5.7拷贝到/opt/ha目录下 ```javascript cp -r /opt/module/hadoop-3.5.7 /opt/ha/ ``` ## 3. 修改环境变量 `vim /etc/profile.d/my_env.sh` ```ja
两个resourcemanager都处于standby，zkfc无法切换resourcemanager
qq_23280769的专栏
10-07 5090
该问题是对yarn-site.xml文件里的内存分配调整造成的， 当 强制变换yarn-resourcemanager为active报错 yarn rmadmin -transitionToActive  --forcemanual  rm1 You have specified the forcemanual flag. This flag is dangerous, as it c
hdfs及yarn的ha和failover
sheisarainbow的博客
06-10 266
配置HDFS-HA集群 官方地址：http://hadoop.apache.org/ 在opt目录下创建一个ha文件夹 mkdir ha 将/opt/app/下的 hadoop-2.7.2拷贝到/opt/ha目录下 cp -r hadoop-2.7.2/ /opt/ha/ 配置hadoop-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144 配置core-site.xml <property> <name>fs.defaul
YARN的共享存储服务
走在前往架构师的路上
05-29 1109
文章目录前言YARN的共享存储服务的起源YARN的共享存储服务架构共享存储服务的组件构成共享存储服务的流程后续改进工作参考文献 前言 在YARN上运行的任务，在任务正式开始运行之前，需要有一步资源的localization的过程，然后用户的任务才能顺利地跑起来。这个”资源“可以是用户依赖的库文件等任务运行所需要的文件。这些资源文件被YARN中此任务对应的Container所共享，这些Contai...
hdfs和yarn的协作
最新发布
06-05
HDFS和YARN是Hadoop生态系统的两个核心组件。HDFS是分布式文件系统，负责存储数据，而YARN是资源管理器，负责分配和管理集群上的资源。HDFS和YARN之间的协作如下： 1. HDFS提供数据存储和访问功能，将数据分成块...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值