步骤补充:
1.向namenode发送请求上传文件 然后在namenode里会进行检查是否存在该文件,权限问题 通过则给一个输出流对象
2.建立好pipeline管道后,客户端先把文件写入缓存中,达到一个块的大小时,会与第一个datanode建立连接开始流式的传输数据,这个datanode会一小部分一小部分的(4k)接受数据然后写入本地仓库,同时把这些数据传输到第二个datanode上;
第二个datanode同样完成上面的操作,再传到第三个datanode ;
3. 整个上传完成后,namenode更新内存元数据 关闭流(因为是IO操作的)
副本复制策略
Client 在哪发起的上传请求, 如果说客户端发起请求的位置在HDFS集群中,client会执行就近原则,存储Client所在机器节点上 这是对于第一个副本来说
如果client 不再HDFS上发送上传请求,第一副本会随机选择一个节点
2 第二份副本为了安全考虑 在不同机架上的随机节点上
3 第三份副本 与第二份副本在相同机架上的不同节点