HDFS体系架构&文件写入/下载流程

HDFS体系架构

HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）是Hadoop项目中的一个核心组件，旨在以高容错、高吞吐量来处理大规模数据集。它的体系架构由以下几个主要部分组成：Client，NameNode，DataNode，SecondaryNameNode

1.Client：客户端

        1.文件切分

        2.与NameNode交互，获取文件元数据信息

        3.与DataNode交互，读取或写入数据

        4.与HDFS进行交互

2.NameNode：Master(管理者)

        1.管理HDFS的元数据空间

        2.管理block块的映射信息

        3.接受DataNode心跳，管理DataNode信息

        4.处理客户端的读写请求

3.DataNode：Slave(NN下达命令执行实际的操作)

        1. 存储实际的数据块

        2.执行数据块的读写操作

        3.向NameNode发送心跳，以及block块汇报

4.Secondary NameNode 

        1.并非NameNode的热备份，当NameNode停止服务的时候不能马上代替NameNode

        2.辅助NameNode，分担工作量

        3.定期合并fsimage和editslog，推送给NameNode

        4.紧急情况下可以辅助恢复namenode

HDFS写入/下载流程

        客户端 请求 NameNode 创建一个新文件。
        NameNode 检查文件是否已存在，并验证客户端权限。
        NameNode 创建一个新文件条目，返回给客户端数据块的位置信息（即哪些 DataNode 将存储数据块的副本）。
        客户端 按顺序将数据块写入到指定的 DataNode。
        DataNode 将数据块复制到其他 DataNode 以确保副本数量。
        DataNode 向 NameNode 报告已存储的数据块信息。

        客户端 请求 NameNode 读取文件。
        NameNode 返回文件的元数据和数据块位置信息。
        客户端 按顺序从相应的 DataNode 读取数据块。
        客户端 汇总数据块，呈现完整文件。