本文详细介绍了HDFS的文件写入和读取过程。在写文件时，客户端首先通过RPC与NameNode（NN）交互创建文件，然后将数据副本写入DataNodes（DNs），完成所有副本后发送确认包。读文件时，客户端获取文件的block列表，并从最近的DN开始读取，遇到问题会切换到其他副本。文件操作完成后，客户端关闭输入/输出流。
Write:
$ hadoop fs -put czz.log /wc_in/
1、Client调用FileSystem.create(filePath)方法,与NN进行RPC通信,check是否存在及是否有权限创建;假如不ok,就返回错误信息,假如ok,就创建一个新文件,不关联任何的block块,返回一个FSDataOutputStream对象
2、Client调用FSDataOutputStream对象的write()方法,
先将第一块的第一个副本写到第一个DN,第一个副本写完,
就传输给第二个DN,第二个副本写完
就传输给第三个DN,第三个副本写完
就返回一个ack package确认包给第二个DN,第二个DN接收到之后加上自身ok,就返回ack package确认包传输给第一个DN,第一个DN接收到第二个DN的ack package确认包加上自身ok,就返回ack package确认包给FSDataOutputStream对象,标志第一个块3个副本写完
3、当向文件写入数据完成后,Client调用FSDataOutputStream.close()方法,关闭输出流.
4、再调用FileSystem.complete()方法,告诉NN该文件写入成功.
最低0.47元/天 解锁文章
1477
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
