云计算(十三)- Offline Edits Viewer Guide

综述

Offline Edits Viewer是一个解析Edits日志的工具。实现不同格式的转换,包括可以被人们方便阅读的XML格式和比较容易编辑的二进制格式。

工具可以解析可以解析编辑-18(大约Hadoop 0.19)或更晚的版本。工具只是在文件上运行,可以不需要Hadoop集群启动。

输入的格式包括:

1.二进制:Hadoop内部使用二进制格式

2.xml:XML格式

Offline Edits Viewer提供了几种输出格式(除所述处输出否则转换回原来的编辑文件):

  1. binary:Hadoop内部使用二进制格式
  2. xml: XML格式
  3. stats: 打印统计数据,不能输出会Edits文件

用法

 bash$ bin/hdfs oev -i edits -o edits.xml
Flag Description
[-i ; --inputFileinput file 必填项,指定edit日志。当扩展名为xml时是xml格式否则为二进制格式。
[-o ; --outputFile]output file 必填项,指定输出文件如果已存在,那么会被重写。
[-p ; --processor]processor 指定运行的解释器,目前允许的选项有binaryxml (默认) 和 stats.
[-v ; --verbose] 打印输入输出文件到控制台和指定的文件,如果比较大,会需要很多时间。
[-h ; --help] 显示帮助信息

案例:集群恢复

在这个案例中,Hadoop的集群和edits文件被损坏,但是至少部分的edits文件是正确的。这可以通过将二进制编辑转换为XML,手动编辑它,然后将它转换为二进制。最常见的问题是,编辑文件丢失closing记录(记录opCode为-1)。这应该可以被工具识别和XML格式应该正确地关闭。

如果在xml文件中没有closing记录你应该在最新的正确的记录后面手动添加一条,任何在opCode为-1后面的记录都是被忽略的。

closing记录的例子:

  <RECORD>
    <OPCODE>-1</OPCODE>
    <DATA>
    </DATA>
  </RECORD>



  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值