Hdfs的写操作:
1.客户端向namenode发出请求准备上传文件
2.NameNode接受请求,并进行判断目标文件是否存在,
3.namenode向客户端发出可以是否传的信息
4.客户端则发送block1 ,
6. namenode判断出可以进行存储的3个datanode,(默认3个副本)
7.客户端向namenode指定的最近的datanode发出发送数据和建立pipeline的请求。
8开始建立pipeline
9.客户端发送数据给datanode1—>datanode2---->datanode3
10.当第一个block传输完成(客户端传输给DataNode1完成)后进行传输block2
详细剖析
二.网络拓扑
1.在大型的hadoop集群中,一般都是采用机架的方式进行DataNode节点选择的。
2 .采取机架方式进行组织是需要用户自己进行配置的,如果不进行配置,则采取默认的配置default-rack,则会出现只有一个机架的情况。尽管可能有多个。
3 .一旦配置topology.script.file.name。就依照网络拓扑结构来寻找datanode。topology.script.file.name这个配置选项的value指定为一个可运行程序。在core-site.xml进行配置
4.如图所示,R1,R2等是机架(交换机) D1也是交换机,
判断节点距离依据:俩个节点到达最近的共同祖先的距离之和
三 机架感知(副本放置)
1.第版本:
2.高版本:
高版本相对于低版本来说提高了传输效率,在可靠性方面也是可以的。
hdfs读操作
1、跟namenode通信查询元数据,找到文件块所在的datanode服务器
2、挑选一台datanode(就近原则,然后随机)服务器,请求建立socket流
3、datanode开始发送数据(从磁盘里面读取数据放入流,以packet为单位来做校验)
4、客户端以packet为单位接收,现在本地缓存,然后写入目标文件。