hdfs
SunmonDong
这个作者很懒,什么都没留下…
展开
-
传统的HDFS单Namenode架构的局限性
先来看看几个基本概念: 1.Namespace(命名空间): 1).有目录文件以及block组成 2).他支持所有对于命名空间相关系统的操作,如增删改查。 2.Block Storage Service (快存储服务)有两个部分 1).管理Block(在NameNode中完成) a.通过控制注册以及阶段性的心跳,来保证DataNode在正确运行原创 2016-06-01 22:46:05 · 2998 阅读 · 0 评论 -
HDFS的主要设计理念
一、HDFS的主要设计理念1、存储超大文件这里的“超大文件”是指几百MB、GB甚至TB级别的文件。2、最高效的访问模式是 一次写入、多次读取(流式数据访问)HDFS存储的数据集作为hadoop的分析对象。在数据集生成后,长时间在此数据集上进行各种分析。每次分析都将设计该数据集的大部分数据甚至全部数据,因此读取整个数据集的时间延迟比读取第一条记录的时间延迟更重要。3、运行在普通廉价的服务器上HDFS设原创 2016-06-30 15:12:59 · 4023 阅读 · 0 评论