将namenode的编辑日志和镜像文件变成可读的xml

最新推荐文章于 2022-06-02 10:24:32 发布
最新推荐文章于 2022-06-02 10:24:32 发布
阅读量236 收藏
点赞数
分类专栏： hadoop 大数据 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44772799/article/details/99732952
版权

[root@hlh001 current]# hdfs oiv -p XML -i fsimage_0000000000000000269 -o ./fsimage.xml

[root@hlh001 current]# hdfs oev -p XML -i edits_0000000000000000001-0000000000000000002 -o ./edits.xml

然后就可以查看里面的内容了！

[root@hlh001 current]# hdfs dfsadmin -rollEdits   //滚动编辑日志

 

年月日朝朝暮暮
关注
专栏目录
HDFS离线分析FsImage元数据
Tybyqi的博客
01-31 1222
概观 HDFS是Hadoop的一部分，它具有下载当前名称节点快照的命令。我们可以通过Spark加载图像或对其进行数据摄取，以使其进入Hive以分析数据并验证它如何使用HDFS。 HDFS文件系统元数据存储在名为“FsImage”的文件中。我们在此快照中包含： 整个文件系统命名空间。 地图，块和文件复制。 配额，ACLS等属性 我必须解决的问题如下： 运行该命令以下载映像并生成XML文件...
镜像文件(fsimage)和编辑日志(Edits)介绍
一亩三分地
02-03 9976
一、查看日志镜像文件内容 1）镜像文件的作用 通过查看上面的xml文件,可以知道镜像文件实际是存放的目录结构、文件属性等相关信息。另外也可以看到MD5校验文件，这个文件主要是用来判断镜像文件是否发生修改。fsimage文件是NameNode中关于元数据的镜像，一般称为检查点，它是在NameNode启动时对整个文件系统的快照。 fsimage文件是hadoop文件系统元数据的一个...
Hadoop NameNode元数据相关文件目录解析
qq_31461055的博客
04-09 709
本文转自 Hadoop NameNode元数据相关文件目录解析一 NameNode 元数据相关文件目录架构二 元数据相关文件解析1 VERSION 文件2 seen_txid 文件3 fsimage 和 edits 及 md5 校验文件三 文件系统元数据 fsimage 和编辑日志 edits1 edits 和 fsimage 文件的概念2 fsimage 和 edits 的工作原理其他信息备用 ...
黑猴子的家：NameNode 镜像文件和编辑日志文件
黑猴子的博客
09-25 261
1、概念 namenode被格式化之后，将在/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current //目录中产生如下文件 edits_0000000000000000000 fsimage_0000000000000000000.md5 seen_txid VERSION （1）Fsimage文件：HDFS文件系统元数据的一个永久性的检查点...
三十九、NameNode工作机制、镜像文件、编辑日志文件、namenode版本号
基督山伯爵的博客
10-16 1680
      &amp
Secondary NameNode:它究竟有什么作用？
热门推荐
ITSTAR
06-16 8万+
前言 最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为，Secondary NameNode是NameNode的备份，是为了防止NameNode的单点失败的，直到读了这篇文章Secondary Namenode - What it really do? (需翻墙)才发现并不是这样。文章写的很通俗易懂，现将其翻译如下：
Hdfs写入读取，编辑日志（edits）与镜像文件
xiaoyaGrace的博客
11-29 925
1.Hdfs写入 Hdfs写入的体系结构 代码： @Test public void putFile() throws Exception{ Configuration conf = new Configuration(); conf.set("fs.defaultFS", "h...
第5章 NameNode和SecondaryNameNode
留不住斜阳的博客
06-02 1043
NameNode和SecondaryNameNode工作机制详解
HDFS镜像文件fsimage和编辑日志文件edits
猫不夜行的博客
07-19 431
镜像文件和编辑日志文件 1）概念 namenode被格式化之后，将在/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current目录中产生如下文件 edits_0000000000000000000 fsimage_0000000000000000000.md5 seen_txid VERSION （1）Fsimage文件：HD...
namenode和datanode工作机制_namenode和datanode的工作机制
weixin_32950005的博客
12-29 956
namenode工作机制1、namenode职责(1)负责客户端请求的响应(2)元数据的管理(查询，修改)2、元数据管理namenode对数据的管理采用了三种存储形式：内存元数据(NameSystem)磁盘元数据镜像文件数据操作日志文件(可通过日志运算出元数据)2.1元数据存储机制内存中有一份完整的元数据(内存meta data)磁盘有一个“准完整”的元数据镜像(fsimage)文件(在namen...
Linux应用编程（2）lseek/dup/dup2函数介绍
weixin_44112805的博客
09-08 504
lseek函数 1.lseek函数介绍 /* *@pram: fd :文件描述符 * offset :偏移量 * whence :偏移开始的位置 (SEEK_SET / SEEK_CUR / SEEK_END) *@return value :offset到文件末尾的字节数 */ off_t lseek(int fd, off_t offset, int whence); 文件指针：当我们要对一个文件进行读写时，一定需要先打开这个文件，所以我们读写的所有文件都是
HDFS之namenode文件解析
bigdodo的博客
04-07 3134
一、HDFS体系结构 HDFS支持主从结构，主节点称为NameNode，从节点称为DateNode，DataNode支持多个节点。HDFS还包含一个SecondaryNameNode进程，表面意思是一个辅助主节点（备用主节点） 伪分布式单节点JPS进程： 网络部署结构图： 1.NameNode进程 NameNode是整个文件系统的管理节点，它主要维护着整个文件系统的文件目录树、文件/目录的信息和每个文件对应的数据块列表，并且还负责接收用户的操作请求。 目录树：目录之间的层...
Hadoop的namenode的镜像文件和编辑日志
张不帅
11-05 1469
存储地址: namenode 被格式化之后，将在/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current 目录中 产生文件名为edits,fsimage,seen_txid,VERSIOn (1) fsimage文件:HDFS文件系统元数据的一个永久性检查点,包含HDFS文件系统的所有目录和文件idnode的序列化信息 (2)edits文件:存放HDF...
Hadoop源码分析（22）
qq_39210987的博客
05-09 838
Hadoop源码分析（22） ###1、 加载FSImage文件   在之前文档中分析了namenode的启动流程，其中namenode启动主要有两个任务：其一是加载元数据，其二是启动相关的服务。其中加载元数据在文档（10）中分析了其最终会调用FSImage类的loadFSImage方法来加载元数据。这个方法大致可以分为5个部分：是查找fsimage文件；初始化editlog；加载editlog流；加载fsimage文件；执行editlog。随后的文档依次分析了：查找FSImage文件、初始化editlo
HDFS fsimage文件解析与反解析
MAYIBO—BG的专栏
07-25 2622
参考： http://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/HdfsImageViewer.html https://blog.csdn.net/androidlushangderen/article/details/50937069 目录 概述 使用 命令使用说明 XMl Processor FileDis...
nodejs解析xml文件（xml-＞json）
slient_love的博客
03-03 8309
nodejs解析xml文件（xml->json） nodejs解析xml文件的方式有很多： xml2j xmlreader xmldom+xpath xmldoc xml-js … 点击可自行访问官网，里面有用法示例，在此不再进行赘述。今天在开发中要解析的xml文件内容如下： <xml xmlns:s='uuid:BDC6E3F0-6DA3-11d1-A2A3-00AA00C14882' xmlns:dt='uuid:C2F41010-65B3-11d1-A29F-00AA00C148
namenode的fsimage与editlog详解
lzf的博客
05-10 3474
Namenode主要维护两个文件，一个是fsimage，一个是editlog。 fsimage保存了最新的元数据检查点，包含了整个HDFS文件系统的所有目录和文件的信息。对于文件来说包括了数据块描述信息、修改时间、访问时间等；对于目录来说包括修改时间、访问权限控制信息(目录所属用户，所在组)等。 editlog主要是在NameNode已经启动情况下对HDFS进行的各种更新操作进行记录，HDFS...
centos7通过命令来查看NameNode的状态（是Active还是Standby）
hsg77的专栏
07-06 2267
通过浏览器虽然可以查看HDFS的NameNode的状态，如果感觉不方便，可以直接使用命令来查看（前提是HDFS已经启动）： [root@hadoop01 ~]# hdfs haadmin -getServiceState nn1 active [root@hadoop01 ~]# hdfs haadmin -getServiceState nn2 standby [root@hadoop...
putty调看oracle日志,命令行界面 – 如何以编程方式将putty日志转换为人类可读,可搜索的文件？...
weixin_29231027的博客
04-02 414
背景：我有一个Windows 7工作站,并使用PuTTY连接到Linux服务器,并启用了会话日志记录.我以前使用过Printable输出选项,但是它没有转义字符的好处,但是如果我使用tab自动完成或退格,我输入的命令是不可搜索的,因为我在输入命令时更正了一个拼写错误(或3) .注意：我安装了cygwin以获得额外的命令行工具支持(即grep,find等).最近,我不得不回过头来找一些命令,直接与同...
HDFS NameNode职责与元数据管理
本资料详细阐述了NameNode的职责，以及与之相关的两个核心文件：fsImage镜像文件和editLog编辑日志。" NameNode作为Hadoop HDFS的核心，它的主要职责有以下几个方面： 1. **命名空间管理**：NameNode维护整个文件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值