【第22期】观点:IT 行业加班,到底有没有价值?

传统的HDFS单Namenode架构的局限性

原创 2016年06月01日 22:46:05

先来看看几个基本概念:
1.Namespace(命名空间):
1).有目录文件以及block组成
2).他支持所有对于命名空间相关系统的操作,如增删改查。
2.Block Storage Service (快存储服务)有两个部分
1).管理Block(在NameNode中完成)
a.通过控制注册以及阶段性的心跳,来保证DataNode在正确运行
b.运行block信息报告,维护block的位置信息。
c.支持所有对于block位置信息的操作,如增删改查。
d.管理block之间的更换交替,并且删除被替换的block。
2).存储由DataNodes提供,他们将block存储在本地系统中,允许读写访问。

一,单NameNode架构的局限性

1,Namespace(命名空间)的限制

由于Namenode在内存中存储所有的元数据(metadata),因此单个Namenode所能存储的对象(文件+块)数目收到Namenode所在JVM的heap size的限制。

2,性能的瓶颈(吞吐量)

由于是单个NameNode的HDFS架构,因此整个HDFS文件系统的吞吐量受限于单个Namenode的吞吐量。

3,隔离问题

由于HDFS仅有一个Namenode,无法隔离各个程序,因此HDFS上的一个实验程序就很有可能影响整个HDFS上运行的程序。

4,集群的可用性

在只有一个Namenode的HDFS中,此Namenode的宕机无疑会导致整个集群不可用。

5,Namespace和Block Management的紧密耦合

当前在Namenode中的Namespace和Block Management组合的紧密耦合关系会导致如果想要事项另外一套Namenode方案会比较困难,而且也限制了其他想要直接使用快存储的应用。

6,为什么纵向扩展目前的NameNode不可行?

比如将Namenode的Heap空间扩大到512GB。
第一个问题就是启动问题,启动花费的时间太长。当前具有50GB的Heap Namenode的HDFS启动一次大概需要30分钟到2个小时,那512GB呢?
第二个潜在的问题就是Namenode在Full GC时,如果发生错误将会导致整个集群宕机。
第三个问题是对大JVMHeap进行调试比较困难。优化Namenode的内存使用性价比比较低。

版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

集团企业传统资金管理的局限性

1、成员企业多头开户,集团无法对资金流动实施有效监控2、资金账外循环,流向不清,信息失真3、缺乏准确的现金流量预算,无法做到事前计划、事中控制和事后分析4、内部交易形成内部三角债、汇兑费用加大

关于Mongodb的全面总结,学习mongodb的人,可以从这里开始!

[-] MongoDB的内部构造MongoDB The Definitive Guide BSON 效率传输性性能 写入协议数据文件名字空间和盘区内存映射存储引擎其他 Mongo...

程序员升职加薪指南!还缺一个“证”!

CSDN出品,立即查看!

[笔记]hdfs namenode FSImage分析1

[b]元数据文件fsimage的分析[/b] fsimage为元数据镜像文件,存储的是某一时刻NameNode内存元数据信息,包括所有的INode信息、正在写入的文件信息以及其他的一些状态信息等。 [quote] /** * Save current image and empty j...
  • GQM
  • GQM
  • 2013-08-29 15:10
  • 383

Hadoop 基础知识---之HDFS篇

HDFS基础知识 HDFS简介 起源       源于Google发布的GFS论文 HDFS是Hadoop DistributeFile System 的简称,是Hadoop的一个分布式文件系统。 ...

hadoop 报错 org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException

报错: org.apache.hadoop.hdfs.DFSClient:Failed to close file org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredE...
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)