专著阅读
yaoxiao_happy2
这个作者很懒,什么都没留下…
展开
-
hadoop 权威指南 阅读笔记(一)
1.hadoop提供完整的文件读写API 具体可参考很多的博客 (hadoop文件操作)2.对于hdfs上某个文件的全部信息如path,目录下文件,传见日期等等,hadoop提供了FileStats对象可以获取这些信息可以使用一些API很方便地拿到FileStatus如fs.getFileStatus(new Path("filePath"));另外可以使用listStatus方法原创 2014-01-02 10:53:15 · 764 阅读 · 0 评论 -
hadoop权威指南 阅读笔记(二)
第三章分布系统:一、数据流系统:1.读入数据:从HDFS客户端到namenode中拿到地址,再去datanode中依次读取。 写文件:写文件的过程相对复杂一点:为了保证读写一致从namenode中开辟地址以后FSDataOutputStram会开启一个管道,管道中待写入datanode的数量和配置的备份数量是一样的,默认的是三个。依次写入后会返回namenode告知写入成功原创 2014-01-10 16:23:13 · 835 阅读 · 0 评论