Hadoop--HDFS的两大核心

Hadoop–HDFS的两大核心

一：写数据

1）具体步骤

1.客户端向namenode发送RPC请求；

2.namenode检查权限以及文件是否存在（是否可以上传）；

3.namenode确认可以上传文件的话会向客户端发送一个确认信息；

4.客户端将文件分块(每个block块128M)按照顺序上传，向namenode申请这些block块存储的datanode列表；

5.上传第一个block块：

1.通过交换机建立一个pipelin通道；

2.block会以“packet queue”的形式传输，每一个packet的大小是64k;

3.为了保证packet传输的正确，当packet向最后一个datanode的传输完成之后，datanode会返回一个ack packet(确认传输到了)，在客户端维护着一个ack queue(确认队列)，客户端收到一个ack就会从ack queue中移除一个ack;

4.每传输8个packet（即512k）就需要进行一个校验；

5.节点列表在通道中进行复制；

5.整个block块的所有packet重复改动作；

6.其他的block块和第一个block传输方式一致，传输完成关闭pipeline.

2）在pipeline上的datanode如果出现了异常?

​ 将会被移除,nn会分配新的dn加入pipeline(保证副本的个数)

3）注意

只要写入了 dfs.replication.min（最小写入成功的副本数）的复本数（默认为 1），写操作就会成功，并且这个块可以在集群中异步复制，直到达到其目标复本数（dfs.replication的默认值为 3），因为 namenode 已经知道文件由哪些块组成，所以它在返回成功前只需要等待数据块进行最小量的复制。

二：读数据

1）具体步骤

客户端将要读取的文件路径发送给 namenode，namenode 获取文件的元信息（主要是 block的存放位置信息）返回给客户端，客户端根据返回的信息找到相应 datanode 逐个获取文件的 block 并在客户端本地进行数据追加合并从而获得整个文件

1.客户端向远程的HDFS发送RPC请求；

2.通过交换机建立通道，如果数据存在，namenode会视情况返回整个文件的block块列表，对于每个block块，namenode都会返回拷贝的datanode地址；

3.客户端收到block列表，会选取离客户端最近的datanode去读取block块，如果最近block的在本地就是本地读取;

4.读完一个block块之后，断开与datanode的连接，client去寻找下一个block块最近的datanode;

5.读完列表block块之后，如果文件还没有读取完成，namenode会返回下一批block块的列表；

6.每次读取完一个block之后都会进行checksum校验，如果读取错误，客户端会通知 namenode，然后再从下一个拥有该 block 拷贝的 datanode 继续读。