Hdfs工作机制之读写操作详解

Hdfs的写操作：

1.客户端向namenode发出请求准备上传文件
2.NameNode接受请求，并进行判断目标文件是否存在，
3.namenode向客户端发出可以是否传的信息
4.客户端则发送block1 ，
6. namenode判断出可以进行存储的3个datanode，（默认3个副本）
7.客户端向namenode指定的最近的datanode发出发送数据和建立pipeline的请求。
8开始建立pipeline
9.客户端发送数据给datanode1—>datanode2---->datanode3
10.当第一个block传输完成(客户端传输给DataNode1完成)后进行传输block2

详细剖析

二.网络拓扑

1.在大型的hadoop集群中，一般都是采用机架的方式进行DataNode节点选择的。

2 .采取机架方式进行组织是需要用户自己进行配置的，如果不进行配置，则采取默认的配置default-rack，则会出现只有一个机架的情况。尽管可能有多个。

3 .一旦配置topology.script.file.name。就依照网络拓扑结构来寻找datanode。topology.script.file.name这个配置选项的value指定为一个可运行程序。在core-site.xml进行配置

4.如图所示，R1，R2等是机架(交换机) D1也是交换机，
判断节点距离依据：俩个节点到达最近的共同祖先的距离之和

三 机架感知(副本放置)

1.第版本：

2.高版本：

高版本相对于低版本来说提高了传输效率，在可靠性方面也是可以的。

---

hdfs读操作

1、跟namenode通信查询元数据，找到文件块所在的datanode服务器
2、挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流
3、datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验）
4、客户端以packet为单位接收，现在本地缓存，然后写入目标文件。