Day06-HDFS的体系结构(namenode作用、datanode作用、block)、fsimage文件、edits文件和checkpoing检查点机制

本文详细探讨了Hadoop分布式文件系统(HDFS)的架构,包括Namenode的角色,它负责元数据管理和集群状态;Datanode的作用,它们作为数据存储节点;Block的概念,是HDFS的数据存储单位;以及fsimage和edits文件,它们共同维护Namenode的状态。此外,还深入解析了checkpoint检查点机制,用于定期合并fsimage和edits以确保系统稳定性。
摘要由CSDN通过智能技术生成
HDFS的体系结构(namenode作用、datanode作用、block)、fsimage文件、edits文件和checkpoing检查点机制和Namenode开启过程

HDFS的体系结构

-------------------------
    1.namenode[守护进程]作用:
        管理文件系统名称空间;【fsimage元数据镜像文件】
管理客户端对文件的访问。【edits操作文件】
NameNode执行文件系统命名空间操作,如打开,关闭和重命名文件和目录【edits操作文件】
确定block到DataNode的映射(注意:心跳机制:status和blockreport;默认3秒一次)
    2.datanode[守护进程]:
        用于管理连接到它们所运行的节点的存储。【block信息:block和block.mate】
        负责提供来自文件系统客户端的读取和写入请求
还执行块创建,删除;
    3.block:文件被分成一个或多个块,这些块存储在一组DataNode中(默认3份)


元数据
-------------------------
    1.查看fsimage文件
        $>hdfs oiv -i fsimage_0000000000000000022 -o ~/fs22.xml -p XML

   <?xml version="1.0"?>
<fsimage>
<NameSection>
<genstampV1>1000</genstampV1>
<genstampV2>1002</genstampV2>
<genstampV1Limit>0</genstampV1Limit>
<!-- 描述当前镜像的最后一个块ID -->
<lastAllocatedBlockId>1073741826</lastAllocatedBlockId>
<!-- 事务ID-对应的是fsimage_0000000000000000022 -->
<txid>22</txid>
</NameSection>
<INodeSection>
<lastInodeId>16390</lastInodeId>
<!-- inode节点描述HDFS文件系统所有信息 
我们保留文件/块层次结构的内存中表示。这是一个基本的INode类,它包含文件和文件的公共字段目录inode。
-->
<inode>
<id>16385</id>
<type>DIRECTORY</type>
<name></name>
<mtime>1528043810446</mtime>
<permission>hyxy:supergroup:rwxr-xr-x</permission>
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值