hadoop block源代码分析DataNode部分（一）

hadoop作为开源软件，之前我一直看它的原理和结构，已经了解了不少。但是要想深入了解hadoop的思想和设计，我觉得还是必须要研究源代码。目前我正在看Hadoop源代码分析，是别人总结出的文档。接下来我会写一些自己的心得。

第一部分先写DataNode。

一个HDFS系统包括NameNode和DataNode。NameNode维护名字空间，DataNode存储数据块。

DataNode负责存储数据，一个数据块在多个DataNode中有备份；而一个DataNode对于一个块最多只包含一个备份。所以我们可以简单地认为DataNode上存了数据块ID和数据块内容，以及他们的映射关系。

一个HDFS集群可能包含上千DataNode节点，这些DataNode定时和NameNode通信，接受NameNode的指令。为了减轻NameNode的负担，NameNode上并不永久保存那个DataNode上有那些数据块的信息，而是通过DataNode启动时的上报，来更新NameNode上的映射表。

DataNode和NameNode建立连接以后，就会不断地和NameNode保持心跳。心跳的返回其还也包含了NameNode对DataNode的一些命令，如删除数据库或者是把数据块复制到另一个DataNode。应该注意的是：NameNode不会发起到DataNode的请求，在这个通信过程中，它们是严格的客户端/服务器架构。

DataNode当然也作为服务器接受来自客户端的访问，处理数据块读/写请求。DataNode之间还会相互通信，执行数据块复制任务，同时，在客户端做写操作的时候，DataNode需要相互配合，保证写操作的一致性。

下面我们就来具体分析一下DataNode的实现。DataNode的实现包括两部分，一部分是对本地数据块的管理，另一部分，就是和其他的实体打交道。我们先来看本地数据块管理部分。

安装Hadoop的时候，我们会指定对应的数据块存放目录，当我们检查数据块存放目录目录时，我们回发现下面有个叫dfs的目录，所有的数据就存放在dfs/data里面。

其中有两个文件，storage里存的东西是一些出错信息，貌似是版本不对…云云。in_use.lock是一个空文件，它的作用是如果需要对整个系统做排斥操作，应用应该获取它上面的一个锁。

接下来是3个目录，current存的是当前有效的数据块，detach存的是快照（snapshot，目前没有实现），tmp保存的是一些操作需要的临时数据块。

但我们进入current目录以后，就会发现有一系列的数据块文件和数据块元数据文件。同时还有一些子目录，它们的名字是subdir0到subdir63，子目录下也有数据块文件和数据块元数据。这是因为HDFS限定了每个目录存放数据块文件的数量，多了以后会创建子目录来保存。

进去以后发现就是这些东西。随便找一个点进去，有下列各种数据块。

数据块文件显然保存了HDFS中的数据，数据块最大可以到64M。每个数据块文件都会有对应的数据块元数据文件。里面存放的是数据块的校验信息。下面是数据块文件名和它的元数据文件名的例子：

blk_-1032831408453843976                           //存储数据

blk_-1032831408453843976_1007.meta          //存储校验信息

上面的例子中，1032831408453843976是块号，1007是版本号，用于一致性检查。

VERSION，保存了一些文件系统的元信息。

dncp_block_verification.log.curr和dncp_block_verification.log.prev，它记录了一些DataNode对文件系定时统做一致性检查需要的信息。

以上是讲了DataNode中文件块存储的结构。接下来分析DataNode上的动态行为。

DataXceiverServer类打开一个端口，每接收到一个连接，就创建一个DataXceiver，服务于该连接。

DataXceiver才是真正干活的地方，目前，DataXceiver支持的操作总共有六条，分别是：

OP_WRITE_BLOCK (80)：写数据块

OP_READ_BLOCK (81)：读数据块

OP_READ_METADATA (82)：读数据块元文件

OP_REPLACE_BLOCK (83)：替换一个数据块

OP_COPY_BLOCK (84)：拷贝一个数据块

OP_BLOCK_CHECKSUM (85)：读数据块检验码

（一）我们先看一个读数据块的过程。

首先看输入，客户端发送读请求时，传送过来的信息。

包括了版本号，要读取的数据块的ID，时间戳，起始偏移和长度，客户端名字（会被写进日志）。根据以上信息，可以创建一个BlockSender，可以通过其中的方法sendBlock发送数据。

BlockSender根据需求，打开相应的数据流。close()用于释放资源，如已经打开的数据流。发送数据时包括应答头和后续的数据包。

数据包随后发送，结构如下。

各个字段含义：

packetLen：包长度，包括包头
offset：偏移量
seqno：包序列号
tail：是否是最后一个包
len：数据长度
checksum：检验数据
data：数据块数据

需要注意的，在写数据前，BlockSender会校验数据，保证数据包中的checksum和数据的一致性。同时，如果数据出错，将会有ChecksumException抛出。

写数据块的流程下篇再写。