hdfs读写文件的流程

1. hdfs写文件的流程

上传数据时datanode的选择策略

• 第一个副本考虑与client最近的（同机架）
• 第二个副本考虑跨机架的datanode，增加副本可靠性
• 第三个副本在第一个副本机架上选择一台datanode存放

上传流程

• 客户端上传文件大小为300m，这个文件将被分成三个block上传
• 客户端请求namenode上传文件，namanode在元数据检验后，满足上传上传条件向客户端响应可以上传
• 客户端请求上传第一个block
• namenode返回datanode（例如返回DN1,DN3,DN4）
• 客户端向DN1请求建立传输通道
• DN1请求向DN3建立连接通道
• DN3请求向DN4建立连接通道
• DN4向DN3应答成功，DN3向DN1应答成功，DN1向客户端应答成功
• 客户端以packet的形式通过通道向DN1上传数据
• DN1向DN2复制副本，DN2向DN4复制副本
• 当第一个block上传完成过后，客户端以同样的方式再次向namenode请求上传第二个block

2. hdfs 读数据

• 客户端请求namenode下载文件
• namenode返回目标文件的元信息（例如block1 block2）
• 客户端去请求block1,假如block在DN1, 先建立一个管道通信流
• 传输数据
• 数据传输完成后再去后去第二个block