传统的HDFS单Namenode架构的局限性

原创 2016年06月01日 22:46:05

先来看看几个基本概念:
1.Namespace(命名空间):
1).有目录文件以及block组成
2).他支持所有对于命名空间相关系统的操作,如增删改查。
2.Block Storage Service (快存储服务)有两个部分
1).管理Block(在NameNode中完成)
a.通过控制注册以及阶段性的心跳,来保证DataNode在正确运行
b.运行block信息报告,维护block的位置信息。
c.支持所有对于block位置信息的操作,如增删改查。
d.管理block之间的更换交替,并且删除被替换的block。
2).存储由DataNodes提供,他们将block存储在本地系统中,允许读写访问。

一,单NameNode架构的局限性

1,Namespace(命名空间)的限制

由于Namenode在内存中存储所有的元数据(metadata),因此单个Namenode所能存储的对象(文件+块)数目收到Namenode所在JVM的heap size的限制。

2,性能的瓶颈(吞吐量)

由于是单个NameNode的HDFS架构,因此整个HDFS文件系统的吞吐量受限于单个Namenode的吞吐量。

3,隔离问题

由于HDFS仅有一个Namenode,无法隔离各个程序,因此HDFS上的一个实验程序就很有可能影响整个HDFS上运行的程序。

4,集群的可用性

在只有一个Namenode的HDFS中,此Namenode的宕机无疑会导致整个集群不可用。

5,Namespace和Block Management的紧密耦合

当前在Namenode中的Namespace和Block Management组合的紧密耦合关系会导致如果想要事项另外一套Namenode方案会比较困难,而且也限制了其他想要直接使用快存储的应用。

6,为什么纵向扩展目前的NameNode不可行?

比如将Namenode的Heap空间扩大到512GB。
第一个问题就是启动问题,启动花费的时间太长。当前具有50GB的Heap Namenode的HDFS启动一次大概需要30分钟到2个小时,那512GB呢?
第二个潜在的问题就是Namenode在Full GC时,如果发生错误将会导致整个集群宕机。
第三个问题是对大JVMHeap进行调试比较困难。优化Namenode的内存使用性价比比较低。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

HDFS架构——NameNode

在学习NameNode之前,我们先回顾一下 HDFS 的整个系统构架。          在上一篇文章中我们讲过了 NameNode 是管理节点,里面存放元数据,那么我们先来看看元数据的存储细节。 元...

HDFS架构(传统架构 和 2.0中高可用+联邦架构)学习笔记

一、传统架构: 如上图所示,hadoop1中HDFS分为:1个NameNode节点(NN,主) + 1个Second NameNode节点(SNN,主) + N个 DataNode节点(DN,从...

传统商业智能的局限性及未来发展之路!

不得不承认,互联网的确改变了一切,”失控”正在每一个领域发生。顺势而为是每一个做企业的人应该要做的事情。   十几年前,我们还执迷于IT时代的ERP、OA、CRM这些名词的时候,BI(商业智能)还是...

关于“幽灵架构”的补充说明4:协议的应用场景与局限性

再次解释一下协议的意义:定义某个功能模块的最小粒度,因为Swift是单继承,而无论是值类型还是引用类型都可以遵守多个协议,因此协议是比父类的粒度还要小的功能模块。协议的功能定义一定要具体并且严格,so...

Hdfs NameNode 启动优化

总结:     NameNode启动时,从fsimage中加载目录树,同时合并edits和fsimage     secondNameNode负责定时合并edits和fsimage ...

HDFS2.X源码分析之:NameNode读文件原理

原文出自云台博客:http://yuntai.1kapp.com/?p=952 HDFS被设计成写一次,读多次的应用场景,这应该跟它的MapReduce机制是紧密关联的,通过对线上的读写比例监控,大...

解决Hadoop namenode无法启动以及修改hdfs的存放位置

重启之后,遇到了一个问题,执行start-all.sh之后,执行JPS发现namenode没有启动。 每次开机都得重新格式化一下namenode才可以。hadoop.tmp.dir是hadoop文件...

High Availability for the HDFS Namenode(翻译)

转载自:http://www.blogjava.net/shenh062326/archive/2012/03/24/yuling111.html High Availability...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)