Hadoop Namenode HA 合并到主干

转载 2012年03月27日 17:47:55


Hadoop 的 Namenode 单点问题一直广受诟病,而这个问题最近将会得到解决,对Namenode 的HA方案已经完成实施并合并到主干,经过严格的测试后将会在后续版本中发布。

HA方案中,主要进行了如下的一些工作:

  • Configuration changes for HA
  • Notion of active and standby states were added to the Namenode
  • Client-side redirection
  • Standby processing journal from Active
  • Dual block reports to Active and Standby

其主要原理是将NameNode分为两种角色,Active和Standby,Active就是正在进行服务的NameNode,而Standby又分三种情况

  • Cold Standby:是当Active NN已经挂掉后才起来的,它本身没有保存任何数据,这时候并不会减少恢复时间
  • Warm Standby:是在Active NN挂掉前起来的,其中保存了一部分数据,所以在恢复时只需要恢复没有的数据,减少了恢复时间
  • Hot Standby:它里面保存的数据和Active是完成一样的,可以直接热切换到它上面继续服务
详细介绍请看设计文档:NameNode+HA_v2.pdf

Hadoop-2.3.0-cdh5.0.1完全分布式环境搭建(NameNode,ResourceManager HA)

问题导读 1.YARN的基础架构是什么? 2.哪一进程防止Yarn早就web攻击? 3.Zookeeper主进程是哪个? 4.如何下载cdh包? 本文搭建Hadoop CDH5....

Hadoop Namenode HA方案比较

我们来分析一下业界普遍关注的HDFS Namenode高可用解决方案,这些方案的提出无非都是想解决Namenode设计上的单点故障。这些方案按照部署类型可划分为主从(Master-Slave)和集群(...
  • nexus
  • nexus
  • 2012年03月23日 16:00
  • 6527

Hadoop总结一:基础知识-Namenode,Datanode(非HA高可用性配置)

Namenode主要功能:接受客户端的读写服务 Namenode保存metadata信息(元数据)   --文件ownership和permissions   --文件包含哪些快   --Bl...

Hadoop2之NameNode—HA原理详解

在hadoop1中NameNode存在一个单点故障问题,也就是说如果NameNode所在的机器发生故障,那么整个集群就将不可用(hadoop1中有个SecorndaryNameNode,但是它并不是N...

Hadoop2.0 Namenode HA实现方案介绍及汇总

namenode单点故障解决方案。NN现在的HA解决方案主要思路是提供一个保存元数据信息的地方,保证editlog不会丢失。董的这篇HA单点故障解决方案总结中介绍了从解决MRv1的Jobtracker...

hadoop之HA架构----->NameNode的高可靠性缘由

注意:只有hadoop2.x以后才有HA机制 一 、概念性 1.ZKFC(DFSZKFailoverController)------>故障转移,当Active NameNode挂掉了,会...

hadoop中namenode HA起不了的问题解决

原先的自己的namenode HA的机器坏了,我就新加了一台机器作为namenodeHA,改了一些配置,还有配了一下免登陆,之后重启了一下集群,发现nn的HA没有起来...

大数据1-Hadoop双namenode配置搭建(HA)

版权声明:本文为博主原创文章,未经博主允许不得转载。 目录(?)[-] 配置Hadoop文件启动命令 首次启动命令日常启停命令 测试验证 配置双namenode的目的就是为了防错...

大数据实战下笔记——Hadoop NameNode HA的原理

NameNode高可用整体(HA)框架NameNode的主备切换NameNode的共享存储 一.NameNode高可用整体框架 组件: 两个NameNode,一个在Active上,一个在S...
  • xqclll
  • xqclll
  • 2016年08月21日 23:00
  • 1186

分享下看到的一篇 十分受用的关于hadoop2—namenode—HA原理详解

在hadoop1中NameNode存在一个单点故障问题,也就是说如果NameNode所在的机器发生故障,那么整个集群就将不可用(hadoop1中有个SecorndaryNameNode,但是它并不是N...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop Namenode HA 合并到主干
举报原因:
原因补充:

(最多只允许输入30个字)