hadoop-HA
文章平均质量分 83
立喆
非典型IT男
展开
-
Yarn参数优化(Fair Scheduler版本)
YARN自从hadoop2.0之后, 我们可以使用apache yarn 来对集群资源进行管理。yarn把可以把资源(内存,CPU)以Container的方式进行划分隔离。YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapReduce)发来的资源请求, 然后YARN会通过分配Container来给每个应用提供处理能力, Container(容器)是YARN中处理原创 2016-06-07 17:08:58 · 12274 阅读 · 0 评论 -
hadoop2.0集群版本在线升级方法
HDFS Rolling Upgrade介绍HDFS 滚动升级允许单个的hdfs节点(守护进程)进行升级。例如,datanodes 节点可以单独升级不影响namenodes。反之亦然。升级在hadoop2.0版本,hdfs 支持 name services的ha功能,并且是强一致性的。这两个特性可以让我们有机会实现升级hdfs集群而不需要关闭hdfs服务。只有做了HA的集群才可以滚动升级。 如果在原创 2016-05-13 15:37:34 · 3134 阅读 · 1 评论 -
如何在不影响hadoop集群正常运行的情况下迁移主控节点[namenode]
目前大部分使用的hadoop集群都是2.x版本的了,这个版本比 hadoop 1.0 添加了namenode 的HA ,解决了namenode单点的问题。但是还是会有紧急情况发生 【比如 两个互为主备的namenode 节点中的某一个节点硬件损坏了】本文描述的过程就是如何把一个datanode节点变成namenode节点在不关掉集群的情况下。【eplacing a name node in an e原创 2015-12-18 10:21:40 · 1924 阅读 · 0 评论