hadoop
文章平均质量分 80
cai1273405001
这个作者很懒,什么都没留下…
展开
-
Hadoop常见问题及解决办法
[转][url]http://blog.csdn.net/zyj8170/archive/2010/11/26/6037934.aspx[/url] 1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer: 程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对...原创 2010-12-14 13:59:51 · 605 阅读 · 0 评论 -
【转】GFS, HDFS, Blob File System架构对比
原文链接地址: http://www.nosqlnotes.net/archives/119 作者:chuanhui 分布式文件系统很多,包括GFS,HDFS,淘宝开源的TFS,Tencent用于相册存储的TFS (Tencent FS,为了便于区别,后续称为QFS),以及Facebook Haystack。其中,TFS,QFS以及Haystack需要解决的问题以及架构都很类似,这三...原创 2011-06-09 21:53:21 · 160 阅读 · 0 评论 -
hdfs读流程分析
hdfs一次读的过程,涉及三个部分:Client、Namenode、Datanode,通过Client与Namenode之间的通信(取文件所在的 block和datanode)和Client与Datanode之间的数据通信来完成一次的读的过程。 首先看一下客户端Client,Client利用FileSystem API来读取数据,主要需要三个步骤: Config...原创 2011-11-16 20:08:17 · 172 阅读 · 0 评论