二、Hadoop学习:HDFS 基本原理
1、NameNode 概述
- a、NameNode 是 HDFS 的核心;
- b、NameNode 成为 Master;
- c、NameNode 仅存储 HDFS 的元数据:文件系统中所有
文件的目录树,并跟踪整个集群中的文件; - d、NameNode 不存储实际数据或数据集。数据本身实际存
储在 DataNodes 中; - e、NameNode 知道 HDFS 中任何给定文件的块列表及其
位置。使用此信息 NameNode 知道如何从块中构建文
件; - f、 NameNode 并不持久化存储每个文件中各个块所在的
DataNode 的位置信息,这些信息会在系统启动时从数
据节点重建; - g、NameNode 对于 HDFS 至关重要,当 NameNode 关闭
时,HDFS / Hadoop 集群无法访问; - h、NameNode 是 Hadoop 集群中的单点故障;
- i 、NameNode 所在机器通常会配置有大量内存
(RAM)。
2、DataNode 概述
- a、DataNode 负责将实际数据存储在 HDFS 中;
- b、DataNode 也称为 Slave;
- c、NameNode 和 DataNode 会保持不断通信;
- d、DataNode 启动时,它将自己发布到 NameNode 并汇
报自己负责持有的块列表; - e、当某个 DataNode 关闭时,它不会影响数据或集群的可
用性。NameNode 将安排由其他DataNode 管理的块进
行副本复制; - f、DataNode 所在机器通常配置有大量的硬盘空间。因为
实际数据存储在 DataNode 中; - g、DataNode 会定期(dfs.heartbeat.interval 配置项配
置,默认是 3 秒)向NameNode发送心跳,如果
NameNode 长时间没有接受到 DataNode 发送的心跳,
NameNode 就会认为该 DataNode 失效; - h、block 汇报时间间隔取参数
dfs.blockreport.intervarMsec,参数未配置的话默认为 6
小时。
3、HDFS 的工作机制
NameNode 负责管理整个文件系统元数据;
DataNode 负责管理具体文件数据块存储;
Secondary NameNode 协助 NameNode 进行元数据的备份。
HDFS 的内部工作机制对客户端保持透明,客户端请求访问 HDFS 都是通过向 NameNode 申请来进行。
3.1. HDFS 写数据流程
详细步骤解析:
- 1、client 发起文件上传请求,通过 RPC 与NameNode 建立通讯,NameNode 检查目标文件是否已存在,父目录是否存在,返回是否可以上传;
- 2、client 请求第一个 block 该传输到哪些 DataNode 服务器上;
- 3、NameNode 根据配置文件中指定的备份数量及机架感知原理进行文件分配,返回可用的 DataNode 地址如:
A、B、C
注:Hadoop 在设计时考虑到数据的安全与高效,数据文件默认在 HDFS 上存放三分,存储策略为本地一份,同机架内其它某一节点上一份,不同机架的某一节点上一份。 - 4、client 请求 3 台 DataNode 中的一台 A 上传数据(本质上是一个 RPC 调用,建立pipeline),A 收到请求会继续调用 B,然后 B 调用 C,将整个 pipeline 建立完成,后
逐级返回client; - 5、client 开始往 A 上传第一个 block (先从磁盘读取数据放到一个本地内存缓存),以packet为单位(默认64K),A 收到一个 packet 就会传给 B,B 传给 C;A每传一个
packet 会放入一个应答队列等待应答。 - 6、数据被分割成一个个 packet 数据包在 pipeline 上依次传输,在 pipeline 反方向上,逐个发送 ack (命令正确应答),最终由 pipeline 中第一个 DataNode 节点 A 将 pipeline ack 发送给 client;
- 7、当一个 block 传输完成之后,client 再次请求 NameNode 上传第二个 block 到服务器。
3.2. HDFS 读数据流程
详细步骤解析:
- 1、Client 向 NameNode 发起 RPC 请求,来确定请求文件 block 所在的位置;
- 2、NameNode 会视情况返回文件的部分或者全部 block 列表,对于每个 block,NameNode都会返回含有该 block 副本的 DataNode 地址;
- 3、这些返回的 DataNode 地址,会按照集群拓扑结构得出 DataNode 与客户端的距离,然后进行排序,排序两个规则:网络拓扑结构中距离 Client 近的排靠前;心跳机制中超时汇报的 DataNode 状态为 STALE,这样的排靠后;
- 4、Client 选取排序靠前的 DataNode 来读取 block,如果客户端本身就是 DataNode,那么将从本地直接获取数据;
- 5、底层上本质是建立
Socket Stream(FSDataInputStream),重复的调用父类
DataInputStream 的 read 方法,直到这个块上的数据读取完毕; - 6、当读完列表的 block 后,若文件读取还没有结束,客户端会继续向 NameNode 获取下一批的 block 列表;
- 7、读取完一个 block 都会进行 checksum 验证,如果读取 DataNode 时出现错误,客户端会通知 NameNode,然后再从下一个拥有该 block 副本的 DataNode 继续读。
- 8、read 方法是并行的读取 block 信息,不是一块一块的读取;NameNode 只是返回 Client 请求包含块的 DataNode 地址,并不是返回请求块的数据;
- 9、最终读取来所有的 block 会合并成一个完整的最终文件。