![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式框架hadoop
myq526180048
这个作者很懒,什么都没留下…
展开
-
Hadoop入门之HDFS与MapReduce
Hadoop的核心就是HDFS与MapReduce 1. HDFS master/slave : Namenode,Datanode Namenode:Namenode执行文件系统的名字空间操作,比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。 Datanode:Datanode负责处理文件系统客户端的读写请求。在Namenode的统一调度下进行数据块...原创 2012-06-28 20:09:13 · 104 阅读 · 0 评论 -
hads 文件系统优缺点
hdfs文件系统设计来: 存储很大的文件,可以大到数M,数G,数T; 对数据的流式读取,基于一种典型情况,写一次,读多次,读取整个数据的吞吐量显得很重要; 只要求普通硬件设备; 在下面一些方面当前还不是很好: 要求低延迟的对数据读取,HBase做得要好些,可参考; 有许多小文件; 多个写者同时写,在文件任意位置修改; 概念: 块:...原创 2012-12-14 19:11:53 · 685 阅读 · 0 评论 -
map/reducer理解示例图
此图来源于:hadoop the definitive guide 3 edtion。备忘,便于理解。原创 2012-12-14 19:15:09 · 151 阅读 · 0 评论