HDFS文件系统和元数据合并流程以及namenode启动流程

本文详细介绍了HDFS文件系统的结构,包括Namenode的元数据管理,如fsImage和edits文件,以及其启动流程。Namenode负责文件系统的目录结构和数据-block关系,而Datanode存储文件的block。SecondaryNameNode协助Namenode合并元数据,但并非热备。在启动时,Namenode进入安全模式以确保数据安全。当edits文件达到一定大小或时间间隔后,SecondaryNameNode会合并fsImage和edits,更新元数据。
摘要由CSDN通过智能技术生成

一、HDFS文件系统(重要

1、namenode:接收用户操作请求;维护文件系统的目录结构;管理文件与block之间的关系、block与datanode的关系,只存储元数据。

      namenode管理:namenode支持对HDFS中的目录、文件和块block做出类似文件系统的创建、修改、删除、列出文件和目录等基本操作。

      块存储管理     在整个HDFS集群中有且只有唯一一个处于active状态的namenode节点,该节点负责对这个命名空间HDFS进行管理。

元数据:描述数据的数据,含有(数据大小,创建时间,创建者等。。)

保存元数据文件包括:

       fsImage

       edits

·2、datanode:存储文件           

       文件被分成block块存储在磁盘上  为了保存数据安全,文件会有多个副本(默认为3个)。

namenode和client客户端的指令进行存储或者检索block,并且周期性的向namenode节点报告它存储在哪些文件的block。

·3SecondaryNameNode:用于同步元数据信息与日志。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值