client读写hdfs的源码分析总结

    周末花了一天的时间仔细了重温了一下client对HDFS文件的读写过程，总结如下：

   每次读写都是以一个数据块的形式来进行的，并且包括数据内容和数据的校验值。另外，到 namenode 上获取相应的信息都是用 RPC 来通信的，而到 datanode 获取真正的数据块内容是由 Socket 的网络流来进行的，这是因为二者的通信数据量还是有些差别的，另外一点是考虑了网络拥塞问题。

    同时客户端为了提高效率，一般都是从 datanode 上读写一个块大小的数据内容，然后缓存到本地内存的。另外到 namenode 上读取数据块信息也是类似的，一次性读取了多个数据块信息，缓存到本地内存，来减少 namenode 的通信拥塞。

 另外，对于分布集群，要重点考虑以下问题：

数据划分，负载平衡，通信拥塞，各结点的本地数据管理，资源合理利用，错误处理等。

归根结底就是扩展性，可靠性，高性能。