HDFS写流程

1、客户端是一个jvm,在一个节点，它里面有一个文件，文件切成很多的块，上传到hdfs,
客户端第一件事情是和NameNode交互元数据，告诉他上传文件的元数据信息，此时NameNode会触发副本放置策略，（第一个放在本机，第二三个出机架）这时是 namenode给客户端返回了三个DataNode,

流程：
Client和NN连接创建文件元数据
NN判定元数据是否有效（是否目录下有重名或其他受限制）
NN触发副本放置策略，返回一个有序的DN列表
Client和DN建立Pipeline（管道，流式传输）连接
Client将块切分成packet（包）（64KB），并使用chunk（512B）+chucksum（校验和）（4B）填充（客户端先准备一个64Kb的buffer,然后从文件读入512B，拿出这512字节算出一个校验和一起填入buffer中）
Client将packet放入发送队列dataqueue中，并向第一个DN发送
第一个DN收到packet后本地保存并发送给第二个DN
第二个DN收到packet后本地保存并发送给第三个DN
这一个过程中，上游节点同时发送下一个packet
生活中类比工厂的流水线：结论：流式其实也是变种的并行计算
Hdfs使用这种传输方式，副本数对于client是透明的
当block传输完成（即传了64M后，不再传），DN们各自向NN汇报，同时client继续传输下一个block
所以，client的传输和block的汇报也是并行的
（DN挂掉：第三个挂，不影响整体传输，只要其中一个成功，ND会让成功的复制出一个或者两个，）
然后再向ND申请第二个block的三个副本，