HDFS

HDFS的体系架构NameNode:名称节点是HDFS的主节点、管理员接收客户端(命令行、java程序)的请求:创建目录、上传数据、下载数据、删除数据等管理和维护HDFS的日志和元信息日志文件(edits文件):记录的是客户端的所有操作,是一个二进制文件(JSON)位置:/root/training/hadoop/tmp/dfs/name/currentedit_inprog...
摘要由CSDN通过智能技术生成

HDFS的体系架构

NameNode:名称节点

  • 是HDFS的主节点、管理员
  • 接收客户端(命令行、java程序)的请求:创建目录、上传数据、下载数据、删除数据等
  • 管理和维护HDFS的日志和元信息

日志文件(edits文件):记录的是客户端的所有操作,是一个二进制文件(JSON)

位置:/root/training/hadoop/tmp/dfs/name/current
edit_inprogress_00000000000000XXXXX:正在操作的日志文件
hdfs oev -i edits_inprogress_00000000000000XXXXX -o ~/a.xml:通过日志查看器(edits viewer),把edits文件转换成文本(xml)格式
元信息(fsimage文件):记录的是数据块的位置信息,数据块的冗余信息,是一个二进制文件
位置:/root/training/hadoop/tmp/dfs/name/current
fsimage_0000000000000XXXXX:元信息记录文件
hdfs oiv -i fsimage_000000000000XXXXX -o ~/b.xml:将元信息记录文件转换成文本(xml或txt)格式

  • HDFS元信息保存位置配置
hdfs-site.xml
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值