- 博客(2)
- 收藏
- 关注
RSS订阅原创 Hadoop 0.21.0的新功能
Hadoop 0.21.0的新功能Hadoop发布了最新版本，这版与之前的版本，在功能上有较大的改进，增加了一些新的功能。主要如下：http://www.cloudera.com/blog/2010/08/what%E2%80%99s-new-in-apache-hadoop-0-21/Common:classification annotationsLarge-Scale Automated Test Frameworkfault injection frameworkMockito-based test
2010-08-29 22:08:00
1064
原创 client读写hdfs的源码分析总结
周末花了一天的时间仔细了重温了一下client对HDFS文件的读写过程，总结如下： 每次读写都是以一个数据块的形式来进行的，并且包括数据内容和数据的校验值。另外，到namenode上获取相应的信息都是用RPC来通信的，而到datanode获取真正的数据块内容是由Socket的网络流来进行的，这是因为二者的通信数据量还是有些差别的，另外一点是考虑了网络拥塞问题。 同时客户端为了提高效率，一般都是从datanode上读写一个块大小的数据内容，然后缓存到本地内存的。另外到namenode上读取数
2010-08-09 20:39:00
1103
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人