hadoop 客户端写数据的过程

1.先描述一下写。在客户端往hdfs写数据的时候（应该包括append），数据是以包为单位发生到hdfs的datanode上的。包会先放到一个dataQueue中去，有一个DataStreamer服务会查看这个dataQueue是否有包，并且坚持这个包是不是块（一个hdfs块，默认的为64M）。如果有包了会先向namenode申请一个block（这个block为新分配的块，其中包括datanode的信息），然后将包发给这个datannode。一直发，直到包的为block的最后一个包，其会关闭所有的对现有datanode的连接，并有新包的时候会再次向向namenode申请新 的块

每当客户端发送完一个包的时候，客户端就会将这个包从dataQueue中移动到ackQueue中

在这个过程中，还有另一个服务启动并监听着，是 ResponseProcessor。因为block都有副本数，其他的存储副本数的datanode正常存储数据后会想客户端发送一ack，当接收到全部的ack后 ResponseProcessor会将包从ackQueue中移除掉

*当客户端程序填满了当前的包的时候，其就会被放入到一个dataQueue中。

   *DataStreamer线程会从dataQueue中取出包，将其发到管道中的第一个datanode，然后

   *在收到第一个datanode的确认回执之后将这个数据包从dataQueue中移动到ackQueue中。

   *ResponseProcessor会接收datanode的 ack 消息。当客户端收到了所有的datanode的

   *确认回执之后，ResponseProcessor会将这个包从ackQueue中移除掉

2.hadoop读过程

hadoop读过程就简单多了。客户端向hdfs发出读请求，namenode将这个文件的所有信息（文件包含的块，块对应的偏移量及所在datanode等信息）。客户端拿到这些信息后想读文件的哪部分就知道找到对应的块，然后向对应的datanode发读请求就行了