疯狂Hadoop之HDFS应用开发（四）

HDFS基本原理

Namenode概述

namenode是HDFS核心

namenode也称为master

namenode仅存储HDFS的元数据，文件系统中所有文件的目录树，并跟踪整个集群中的文件

namenode不存储实际数据或数据集。数据本身实际存储在datanode中

namenode知道HDFS中任何给定文件的块列表及其位置，使用此信息namenode知道如何从块中构建文件

namenode并不持久化存储每个文件中各个块所在的Datanode的位置信息，这些信息会在系统启动时从数据节点重建

namenode对于HDFS至关重要，当namenode关闭时，HDFS/Hadoop集群无法访问

namenode是hadoop集群中的单点故障

namenode所在机器通常会配置有大量内存

 

DataNode概述

datanode负责将实际数据存储在HDFS中

datanode也称为slave

namenode和datanode会保持不断通信

datanode启动时，它将自己发布到namenode并汇报自己负责持有的块列表

当某个datanode关闭时，它不会影响数据或集群的可用性。namenode将安排由其他datanode管理的块进行副本复制

datanode所在机器通常配置有大量的硬盘空间，因为实际数据存储在datanode中

datanode会定期向namenode发送心跳，如果namenode长时间没有接收到datanode发送的心跳，namenode就会认为该datanode失效

block汇报时间间隔取参数dfs.blockreport.intervalMsec，参数未配置的话默认为6小时

 

HDFS的工作机制

Namenode负责管理整个文件系统元数据，Datanode负责管理具体文件数据块存储，Secondary Namenode协助Namenode进行元数据的备份

HDFS的内部工作机制对客户端保持透明，客户端请求访问HDFS都是通过向Namenode申请来进行

 

 

HDFS写数据流程

详细步骤解析

1. client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查 目标文件是否已经存在，父目录是否存在，返回是否可以上传
2. client请求第一个block该传输到哪些DataNode服务器上
3. NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返 回可用的DataNode的地址，如node01,node02,node03,node04

注意：Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点一份

 

1. client请求3台DataNode中的一台node01上传数据（本质上是一个RPC调用， 建立pipeline）,node01收到请求会继续调用node02,然后node02调用node03，, 然后node03调用node04,将整个pipeline建立完成后逐级返回client
2. client开始往node01上传递第一个block(先从磁盘读取数据放到一个本地内存 缓存)，以packet为单位（默认64K），node01收到一个packet就会传送给 node02,node02传给node03,node03传给node04,node01每传一个packet会 放入一个应答队列等待应答
3. 数据被分割成一个个packet数据包在pipeline上一次传输，在pipeline反方向 上，逐个发送ack（命令正确应答），最终由pipeline中第一个DataNode节 点node01将pipeline ack发送给client
4. 当一个block传输完成之后，client再次请求NameNode上传第二个block到服 务器

 

HDFS读数据流程

详细步骤分析

1. client向NameNode发起RPC请求，来确定请求文件block所在位置。
2. NameNode会视情况返回文件的部分或者全部block列表，对于每个block， NameNode都会返回含有该block副本的DataNode地址
3. 这些返回的DN地址，会按照集群拓扑结构得出DataNode与客户端的距离，然 后进行排序。

排序两个规则：网络拓扑结构中距离client近的排靠前

心跳机制中超时汇报的DN状态为stale,这样的排靠后

1. client选取排序靠前的DataNode来读取block,如果客户端本身就是DataNode， 那么将从本地直接获取数据
2. 底层上本质是建立Socket Stream（FSDataInputStream）,重复的调用父类 DataInputStream的read方法，直到这个块上的数据读取完毕。
3. 当读完列表的block后，若文件读取还没有结束，客户端会继续向NameNode 获取下一批的block列表
4. 读取完一个block都会进行checksum验证，如果读取DataNode时出现错误， 客户端会通过NameNode，然后再从下一个拥有该block副本的DataNode继 续读
5. read方法是并行的读取block信息，不是一块一块的读取。NameNode只是返 回client请求包含块的DataNode地址，并不是返回请求块的数据。
6. 最终读取来所有的block会合并成一个完整的最终文件

 

HDFS的应用开发

HDFS的Java API操作

Windows下配置Hadoop环境变量

将软件中的hadoop-lib、hadoop-2.6.5、hadoop-2.6.5-src文件夹复制到C盘usr文件夹下。如

 

 

打开usr文件夹下hadoop-2.6.5文件夹，找到bin目录，将软件包中bin文件夹下的文件复制到hadoop-2.6.5文件夹下并覆盖

软件包下bin目录文件

 

 

hado