Hadoop源码分析（四）

最新推荐文章于 2024-09-10 09:33:47 发布

qq_1031904067

最新推荐文章于 2024-09-10 09:33:47 发布

阅读量542

点赞数

文章标签： hadoop hdfs 大数据

本文链接：https://blog.csdn.net/qq_45954414/article/details/121058247

版权

本文深入分析了Hadoop中的HDFS系统，包括NameNode和DataNode的角色。NameNode作为管理者，维护文件系统元数据，而DataNode则负责数据存储，并对数据块进行备份。此外，探讨了FSDataset类的功能，如更新Block、验证Block有效性等，进一步加深了对Hadoop存储机制的理解。

摘要由CSDN通过智能技术生成

2021SC@SDUSC

1.Hadoop中的NameNode与DataNode

Hadoop中的HDFS系统包括一个NameNode和多个DataNode。NameNode为管理者，主要负责管理HDFS中的文件系统，它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件和编辑日志文件。而DataNode负责存储数据，一个数据块在多个 DataNode 中有备份；而一个 DataNode 对于一个块最多只包含一个备份。

一个 HDFS 集群可能包含上千 DataNode 节点，这些 DataNode 定时和 NameNode 通信，接叐收NameNode 的指令。为了减轻 NameNode 的负担，NameNode 上并不永久保存那个 DataNode 上有那些数据块的信息，而是通过 DataNode 启动定时上报，来更新 NameNode 上的映射表。

DataNode 当然也作为服务器接收来自客户端的访问，处理数据块读/写请求。DataNode 之间还会相互通信，执行数据块复制任务，同时，在客户端做写操作的时候，DataNode 需要相互配合，保证写操作的一致性。

从大到小，Hadoop 中最大的结构是 Storage，最小的结构，在 DataNode 上是 block。