HA
仲夏夜有蚊子
啥都没有呢奋斗中
展开
-
CDH中的JobTracker HA方案介绍
作者:Dong | 新浪微博:西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://dongxicheng.org/mapreduce/cdh4-jobtracker-ha/大家都知道,Hadoop JobTracker存在单点故障,且一直没有完善的开源解决方案。在Hadoop中,由于JobTracker出现的故障的概率远远小于NameN转载 2013-03-16 18:44:40 · 1271 阅读 · 0 评论 -
Jobtracker重启Job recovery过程分析
1. Job Recovery的有关配置项配置项默认值含义mapred.jobtracker.restart.recoverfalsetrue时JT重启之前运行的job可以在jobtracker restart之后恢复,false则需要重新运行。mapred.jobtracker.job.转载 2013-03-18 16:14:00 · 567 阅读 · 0 评论 -
Hadoop Namenode HA方案比较
我们来分析一下业界普遍关注的HDFS Namenode高可用解决方案,这些方案的提出无非都是想解决Namenode设计上的单点故障。这些方案按照部署类型可划分为主从(Master-Slave)和集群(Cluster),其中主从根据状态的一致程度又细分为冷备、温备和热备,按照切换方式可划分为人工切换和自动切换,按照数据同步方式可划分为共享存储和复写。 下图列举了目前HadoopHA方案,接下来我们对转载 2013-07-09 21:51:01 · 951 阅读 · 0 评论 -
Hadoop 2.0 NameNode HA和Federation实践
Hadoop 2.0 NameNode HA和Federation实践Posted on 2012/12/10一、背景天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案,由于行业的特殊性,客户对服务的可用性有着非常高的要求,而HDFS长久以来都被单点故障的问题所困扰,直到Apache Hadoop在2012年5月发布转载 2013-07-09 21:49:58 · 898 阅读 · 0 评论