大数据最新Hadoop之HDFS——【模块一】元数据架构_元数据hdfs，大数据开发事件分发机制收藏这一篇就够了

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

一、元数据是什么

在HDFS中，元数据主要指的是文件相关的元数据，通过两种形式来进行管理维护，第一种是内存，维护集群数据的最新信息，第二种是磁盘，对内存中的信息进行维护与持久化，由namenode管理维护。从广义的角度来说，因为namenode还需要管理众多的DataNode结点，因此DataNode的位置和健康状态信息也属于元数据。

二、文件的组成

meta:文件的索引，文件和目录是文件系统的基本元素，HDFS将这些元素抽象成INode，每一个文件或目录都对应一个唯一的INode。

block:真实的数据存储的位置，Block是对于文件内容组织而言的，按照固定大小，顺序对文件进行划分并编号，划分好的每一个块就称之为一个Block。

三、namenode的功能

1、管理HDFS命名空间（文件目录树及其目录与文件的元数据），并以fsimage进行持久化保存。

2、处理客户端的访问，并将修改动作记录到edits文件中。

3、在内存中维护数据块的映射信息，即块文件与datanode的对应关系,namenode只在内存中维护此关系，不会永久化到磁盘上，因此在集群刚启动是，namenode中并没有块文件与datanode的对应关系，需要datanode上报自身的块文件信息后，才可以正常工作。

4、实施副本冗余策略，当实际副本数小于配置数时，会启动复制块的线程，直到个数达配置数。

四、namenode的启动过程

1. 加载预先生成的持久化文件fsimage。
2. 加载没有完成处理的edit log文件。
3. 等待DataNode注册和汇报其所包含的block数据，校验meta信息和block数据是否一致。

五、datanode的全量上报过程

• DataNode启动后通过RPC方式向NameNode注册，注册时携带的信息有：Software Version(当前DataNode版本号) storageInfo（集群信息）DataNodeId（节点自身信息）
• 全量上报当前DataNode所有的block块信息，包括block ID、所属文件、存储位置等，目的分别是使用NameNode维护集群数据，与meta进行校验。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**