Hadoop 文件写流程

1）流程图

    

2）流程解读

    1. 客户端执行命令（或者代码读取），调用的是dfs的create的方法，输入的是要上传的文件目录

    2. NN会验证这个目录是否存在和是否有权限去创建。

    3. 校验完成后，NN会创建一个空文件，还没有数据流和block映射关系，返回给一个FSDataOutputStream的对象

    4. 客户端调用write方法，将数据流一个一个块地写入

    5. 每个block的写入是接连着副本去写

    6. 当最后的副本写完后，会发送ack packet包告诉上一个副本，最后把ack packet返回给FSDataOutputStream对象

    7. 剩余所有的block依次这样写入

    8. 当所有的块都写完后，FSDataOutputStream会调用close的方法，同时flush刷新缓存

    9. 最后还要调用dfs的complete方法，告诉NN文件已写完，和维护这个文件的映射关系。不用等10个心跳（30s）

【来自@若泽大数据】