黑猴子的家：Hadoop-2.X HA模式下的FSImage和EditsLog合并过程

最新推荐文章于 2021-07-10 16:04:52 发布
最新推荐文章于 2021-07-10 16:04:52 发布
阅读量211 收藏
点赞数 1
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28652401/article/details/83507654
版权

集群HDFS启动缓慢的问题，集群为Hadoop-2.5.0版本，做了HDFS的HA。在某次故障后重启HDFS集群，发现启动超慢，积累了100多个EditsLog，整个启动过程持续了近六个小时。为了总结这次的经验教训，补充了一下NameNode启动过程中有关FSImage与EditsLog的相关知识。

1、什么是FSImage和EditsLog

https://www.jianshu.com/p/4942112cded6

2、Checkpoint机制

https://www.jianshu.com/p/6883896a4cf2

3、HA模式下Checkpointing过程分析

https://www.jianshu.com/p/eb85c35f5998

黑猴子的家
关注
专栏目录
大数据安全-kerberos技术-hadoop安装包，hadoop版本：hadoop-3.3.4.tar.gz
06-06
本资源提供的是Hadoop的大数据安全组件——Kerberos的集成安装包，具体版本为hadoop-3.3.4.tar.gz，这是一款针对Hadoop进行安全配置的重要工具。 Hadoop是一个开源的分布式计算框架，它允许在大规模集群上存储和...
Hadoop-2.X HA模式下的FSImage和EditsLog合并过程
weixin_30362083的博客
06-15 464
　　最近遇到集群HDFS启动缓慢的问题，集群为Hadoop-2.5.0版本，做了HDFS的HA。在某次故障后重启HDFS集群，发现启动超慢，积累了100多个EditsLog，整个启动过程持续了近六个小时。为了总结这次的经验教训，补充了一下NameNode启动过程中有关FSImage与EditsLog的相关知识。 一、什么是FSImage和EditsLog 　　我们知道HDF...
检查点机制，Fsimage与Editlog的合并过程理解
airyv的博客
07-10 759
fsimage文件：即命名空间映像文件，是内存中的元数据在硬盘上的checkpoint，包含文件系统中的所有目录和文件inode的序列化信息。 editlog：文件系统的写操作首先把它记录在editlog中。 检查点机制：定时将fsimage和editlog合并并产生新的fsimage的过程，这一过程非常耗费cpu和IO，一般放在Secondary Namenode（非HA）和Standby Namenode（HA）中完成。 （一）secondary namenode执行检查点操作（非HA）： sec
HDFS架构原理和读写流程分析，数据完整性，HA，fsimage，editlog
LeoHan
05-19 418
HDFS全称为Hadoop Distributed File System，是hadoop分布式文件系统的简称，也是hadoop的核心。数据最小存储粒度按照块存储。 在HDFS中主要有如下几个角色： NameNode，DataNode，SecondaryNameNode，Client
hadoop中FsImage与Editslog合并解析
数据猿+的博客
05-18 6352
FsImage和Editslog分别是什么 ？ Editslog ：保存了所有对hdfs中文件的操作信息 FsImage：是内存元数据在本地磁盘的映射，用于维护管理文件系统树，即元数据(metadata) 在hdfs中主要是通过两个数据结构FsImage和EditsLog来实现metadata的更新。在某次启动hdfs时，会从FSImage文件中读取当前HDFS文件的metadata，之后对H...
Hadoop HDFS（NameNode、DataNode和HA高可用）
sjjsaaaa的博客
05-21 1408
一、NameNode和SecondaryNameNode（面试开发重点） 1 NN和2NN工作机制 思考：NameNode中的元数据是存储在哪里的？ 如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 NN和2NN工作机制 1.第一阶段：NameNode启动 第一次启动NameNode格式化后，创建Fsimage和Ed
hadoop-3.1.1.3.1.4.0-315.tar.gz
10-11
ambari-2.7.5 编译过程中四个大包下载很慢，所以需要提前下载，包含：hbase-2.0.2.3.1.4.0-315-bin.tar.gz ，hadoop-3.1.1.3.1.4.0-315.tar.gz ， grafana-6.4.2.linux-amd64.tar.gz ，phoenix-5.0.0.3.1.4.0-315....
Hadoop下载 hadoop-3.3.3.tar.gz
07-06
摘要 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。...Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算 软件特点 Hadoop是一个
hadoop-3.3.6.tar.gz - hadoop 3.3.6 安装包
最新发布
07-19
文件名: hadoop-3.3.6.tar.gz 这是 Hadoop 3.3.6 版本的安装包(即二进制版,不是源码)，文件格式为 tar.gz,解压后直接使用. Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层...
Hadoop下载 hadoop-2.9.2.tar.gz
07-06
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
黑猴子的家：Hadoop的五大特性（优点）
黑猴子的博客
09-13 3107
1）高可靠性：因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理。 2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。 3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。 4）高容错性：自动保存多份副本数据，并且能够自动将失败的任务重新分配。 5）成本低（Economical）：Ha...
黑猴子的家：Hadoop 日志聚集
黑猴子的博客
09-05 1870
Job运行完成以后，将日志信息上传到HDFS系统上 1、配置yarn-site.xml <!-- 开启日志聚集功能 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property>
黑猴子的家：Hadoop NameNode 的主备切换实现
黑猴子的博客
09-05 1259
NameNode 主备切换主要由 ZKFailoverController、HealthMonitor 和 ActiveStandbyElector 这 3 个组件来协同实现： ZKFailoverController 作为 NameNode 机器上一个独立的进程启动 (在 hdfs 启动脚本之中的进程名为 zkfc)，启动的时候会创建 HealthMonitor 和 ActiveStandby...
黑猴子的家：Hadoop DataNode 多目录配置
黑猴子的博客
09-25 782
datanode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本。 具体配置如下 hdfs-site.xml <property> <name>dfs.datanode.data.dir</name> <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${ha...
大数据技术之概论
黑猴子的博客
09-25 779
1、大数据概念 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。 1Byte = 8 Bit 1KB = 1,...
黑猴子的家：Hadoop 中，什么是FSImage和EditsLog
黑猴子的博客
09-05 692
我们知道HDFS是一个分布式文件存储系统，文件分布式存储在多个DataNode节点上。一个文件存储在哪些DataNode节点的哪些位置的元数据信息（metadata）由NameNode节点来处理。随着存储文件的增多，NameNode上存储的信息也会越来越多。那么HDFS是如何及时更新这些metadata的呢？ 　　在HDFS中主要是通过两个组件FSImage和EditsLog来实现metadata...
黑猴子的家：Hadoop之Namenode多目录配置
黑猴子的博客
09-25 528
namenode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性。 1、具体配置如下 hdfs-site.xml <property> <name>dfs.namenode.name.dir</name> <value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${ha...
黑猴子的家：Hadoop 修改本地临时文件存储目录
黑猴子的博客
09-05 514
1、停止进程，按照顺序停止 [victor@node1 hadoop-2.8.2]$ sbin/yarn-daemon.sh stop nodemanager [victor@node1 hadoop-2.8.2]$ sbin/yarn-daemon.sh stop resourcemanager [victor@node1 hadoop-2.8.2]$ sbin/hadoop-daemon....
黑猴子的家：Hadoop HA模式下Checkpointing过程分析
黑猴子的博客
09-05 495
在HA模式下checkpoint过程由StandBy NameNode来进行，以下简称为SBNN，Active NameNode简称为ANN。 　　HA模式下的edit log文件会同时写入多个JournalNodes节点的dfs.journalnode.edits.dir路径下，JournalNodes的个数为大于1的奇数，类似于Zookeeper的节点数，当有不超过一半的JournalNode...
配置Hadoop HA高可用：hdfs-site.xml详解
3. dfs.namenode.rpc-address.nnc1.nn1 和 dfs.namenode.rpc-address.nnc1.nn2: 这两个属性定义了主NameNode和备用NameNode的RPC（远程过程调用）地址，用于客户端和其他Hadoop组件与NameNode进行通信。例如，`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值