本文分析了HDFS中文件提交的过程，包括客户端通过RPC与NameNode交互确定存储位置，DataNode的冗余存储策略，以及NameNode的账本更新。此外，还详细阐述了MapReduce作业的提交流程，从客户端与ResourceManager的通信，到Job信息的调度，再到TaskTracker领取任务并执行计算，最后将结果写回HDFS。
看了不少东西，想把他们总结出来，若有错误还望不吝赐教
在hdfs架构中可以吧Client认为是送货人，nn是仓库管理员，dn是一个个仓库。当客户端要送货（文件）的时候，进行如下步骤
1.送货员通过rpc通信告知仓库管理员（nn）说我这里有货物，请告诉我放在哪里啊
2.仓库管理员通过查询所维护的仓库信息查出哪个仓库有空余空间，将查询结构反馈给送货员
3.送货员将货物放入管理员所说的仓库即可
· 4.为了保证安全性，仓库会对货物进行复制冗余存储多份（在其他仓库中）
5.在仓库装载货物的同时会将自身剩余的空间汇报给仓库管理员，管理员对自己的账本做出更新
6.存储成功后仓库会回传告知送货员存储成功
最低0.47元/天 解锁文章
扫一扫
826
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
