hadoop学习 16 9.2 HDFS 第二种开机启动（未格式化后启动）时NameNode元数据目录的变化

最新推荐文章于 2023-03-05 21:44:55 发布
最新推荐文章于 2023-03-05 21:44:55 发布
阅读量223 收藏
点赞数
文章标签： hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41173093/article/details/120122415
版权

大致步骤：
1） 加载已有的edits和fsimage文件
2） 生成新的edits和fsimage文件、edits_inprogress文件
在这里插入图片描述
在这里插入图片描述

fsimage文件存储的信息比edits文件更全面

Cupcake_JackY
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
解析fsimage文件（文件与数据块）
小小码农
06-03 2295
fsimage文件与editslog文件存储的路径  查看hdfs-site.xml属性： fsimage、editslog文件存储：（可多目录） dfs.namenode.name.dir /opt/data/name blk数据块文件：（可多目录） dfs.datanode.data.dir /opt/data/dn1,/opt/data/dn2 fsimage和editslog文件存储在dfs.namenode.name.dir的值下面。 /opt/data/name/current/
离线分析fsimage文件进行数据深度分析
最新发布
coding and writing
06-19 953
大数据元数据分析
HDFS : Fsimage与Edits 详解
热门推荐
11-07 1万+
Fsimage Edits详解 NameNode元数据解析 （1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载edits和fsimage文件到内存。 （2）客户端对元数据进行增删改的请求。 （3）namenode记录操作日志，更新滚动日志。 （4）namenode在内存中对数据进行增删改查。 Fsimage保存了最新的元数据检查点，在H...
Hadoop中格式化文件HDFS失败
weixin_54348877的博客
09-28 6896
写在前面： 运行失败的时候，一定要看报错信息！！对症下药。 报错信息： 报错分析： 1. 找到ERROR 在第一行中有个“ ERROR ” ，那我们就从这里开始看，这里后面会告诉你错在哪个文件夹哪行哪里，具体错误是什么 2. SystemId 这里告诉了你在文件（file）中，/export/servers/hadoop-2.7.4/etc/hadoop/mapred-site.xml这个文件出错了。那我们就要切换到文件的目录下，启用vi编辑器查看具体信息。 cd /export/se
hdfs小文件使用fsimage分析实例
Direction_Wind的博客
03-22 4771
这里写目录标题1 小文件来源分析1.1 数据主要来源：2 处理方案2.1 实时计算任务2.2 hive做优化，小文件做合并:2.2.1 已有数据2.2.2 新接入数据做数据合并后在load进hive新表dwd层及以后可以通过设置这些参数。2.2.3 mapreduce 定义规范3fsimage 离线分析hdfs内容3.1创建hive表 存储元数据，做分析用3.2 处理fsimage文件3.2.1获取fsimage文件：3.2.2从2进制文件解析：3.2.3加载进hive中3.2.4 统计文件整体情况3.2.
hadoop格式化HDFS出现错误解决办法
01-10
hadoop格式化HDFS出现错误解决办法 报错信息： host:java.net.UnknownHostException: centos-wang: centos-wang: unknown error 在执行hadoop namenode -format命令时，出现未知的主机名。  问题原因：  出现...
hadoop重新格式化HDFS步骤解析
01-11
同时，HDFS作为一种分布式文件系统，它的安装也是需要相应的格式化操作的，如果安装失败或者我们需要重新安装的时候，那我们就需要对HDFS重新进行格式化，这篇文章就和大家一起讨论下如何进行HDFS的重新格式化。...
Hadoop技术HDFS元数据共7页.pdf.zip
11-21
了解了HDFS的元数据基础后，我们来看“Hadoop技术HDFS元数据共7页.pdf.zip”这个文件，它很可能包含了对HDFS元数据更深入的探讨，包括元数据的管理、优化、备份恢复策略、故障检测与恢复等方面。这个文件可能详细...
HDFS editlog和fsimage文件
qq_41982570的博客
03-05 846
HDFS editlog和fsimage文件
Hadoop生态圈（三）HDFS元数据持久化（FSImage、EditLog、SNN）
傅红雪的专栏
09-25 1135
这样在 NameNode 启动的时候就不用将巨大的 EditLog 中的事务再执行一遍，而是直接加载合并之后的新 FSImage ，然后重新执行未被合并的 EditLog 文件就可以了。此时 NameNode 启动结束，等待接受用户的操作请求，并把用户操作写入新的 edit log 中，定期进行 checkpoint，对元数据执行快照。另外，由于 NameNode 在启动的时候，需要将 EditLog 中的操作重新执行一遍，过大的 EditLog 会延长 NameNode 的启动时间。
6. hadoop系列之HDFS镜像文件Fsimage和编辑日志Edits详解
算法小生
01-09 1018
了解完后，fsimage与edits文件不知道你有没有想起与redis7中rdb与aof十分类似呢？欢迎关注公众号算法小生。
hadoop中的fsimage和edits的介绍
bool的博客
09-06 2739
在进入下面的主题之前想来搞清楚edits和fsimage文件的概念： 1，fsimage文件其实是hadoop文件系统元数据的一个永久性的检查点，其中包含hadoop文件系统中的所有目录和文件idnode的序列化信息。 2，edits文件存放的是hadoop文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到edits文件中。 元数据的介绍： 元数据的分类 按形式分类：内存元数据和元数据文件；它们的存在的位置分别为：内存和磁盘上。其中内存元数据主要是hdfs文件目录的管理；
fsimage文件丢失_从一个 HDFS edits 文件看到的一些问题
weixin_35706991的博客
02-01 324
我们看一下这是 NameNode 所在机器的：/home/admin/software/hadoop-2.7.2/hadoop-data/dfs/name/current 路径下的 edits文件和 fsimage文件：为什么会有这么多 edits文件，这些edits 文件创建的时间都是间隔1个小时，这是因为每隔1小时，secondaryNameNode 都会对 edits 和 fsimage 进...
❤️hadoop必知必会的基本知识❤️
Maynor的博客
09-08 1219
????‍ HDFS ????‍ HDFS的组成架构： 这种架构主要由四个部分组成，分别为HDFS Client、NameNode、DataNode和Secondary NameNode。下面我们分别介绍这四个组成部分。 1）Client：就是客户端。   （1）文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行存储；   （2）与NameNode交互，获取文件的位置信息；   （3）与DataNode交互，读取或者写入数据；   （4）Client提供一些命令来管理H
HDFS fsimage文件解析
iture的博客
01-01 853
指定hdfs 客户端内存 export HADOOP_CLIENT_OPTS=’-Xmx5000m -Xms5000m’ 解析fsimage文件，结果以逗号分隔 nohup hdfs oiv -t /data/tmp/fsimage -p Delimited -delimiter , -i fsimage_000000000xxx -o result_file & 30gb大的fsimage文件解析大概耗时2小时。 结果文件需要删除首行列名 sed -i ‘1d’ result_file
fsimage文件丢失_HDFS中小文件的排查方式之分析fsimage
weixin_32819955的博客
02-01 411
问题cloudera manager监控页面HDFS大部分机器出现类似告警"存在隐患 : DataNode 有 xxxxxx个块。 警告阈值：500,000 块。"，cm给出的建议：这是 DataNode 运行状况检查，用于检查 DataNode 是否含有过多的块。如果 DataNode 含有过多的块，可能影响 DataNode 的性能。具有大量块数的 DataNode 将需要较大的 java ...
HDFS源码分析之FSImage文件内容（一）总体格式
weixin_34259232的博客
04-29 515
FSImage文件是HDFS中名字节点NameNode上文件/目录元数据在特定某一时刻的持久化存储文件。它的作用不言而喻，在HA出现之前，NameNode因为各种原因宕机后，若要恢复或在其他机器上重启NameNode，重新组织元数据，就需要加载对应的FSImage文件、FSEditLog文件，并在内存中重做FSEditLog文件中的事务条...
fsimage文件丢失_hadoop fsimage edits关系
weixin_39607836的博客
02-01 157
fsimage = name table , 存放namonode中所有数据，运行时数据加载到内存中存放edits_inprogress 类似于LSM树中的Log，在向hdfs写的过程都向此文件存放，当存的数据到一定程度/或者定期间隔多久，会把此文件内容跟新到fsimage刚开始写数据时会同时向namonode内存和edit中写，此时立刻读取刚写入的数据是读取namenode内存和原fsima...
hadoop重启虚机后hdfs中数据丢失，需要重新格式化问题
momomi_2005的专栏
03-24 2515
1，虚机每次重启后，如果不格式化namenode，就错误，日志如下： INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Registered FSNamesystemStateMBean and NameNodeMXBean   INFO org.apache.hadoop.hdfs.server.namenode.N
Hadoop学习指南：HDFS基石与元数据管理
Hadoop学习总结涵盖了Hadoop Distributed File System (HDFS)的核心概念，这是Apache Hadoop生态系统中的关键组件，用于分布式存储大规模数据。以下是主要内容的详细介绍： 1. **数据块与存储**： - HDFS的基础...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值