Hadoop的High Available 机制

Hadoop的High Available 机制

#hadoop
正式引入HA是从Hadoop2.0开始，之前的版本中没有HA机制

HA的运作机制

1. Hadoop—HA 集群运作机制介绍
   所谓HA，即高可用（7*24小时不中断服务）
   实现高可用最关键的是消除单点故障
   Hadoop-ha严格来说应该分为各个组件的HA机制
   Hadoop——HA yarn——HA
2. HDFS的HA机制详解
3. 通过双NameNode消除单点故障
   双NameNode协调工作的要点是：
   1.元数据管理方式需要改变：
   内存各自保存一份元数据
   Edits日志只能有一份，只有Active状态的NameNode节点可以做写操作
   两个NameNode都可以读取edits
   共享的edits放在一个共享储存中管理（qjournal和NFS两个流实现）
   2.需要一个状态管理功能模块
   实现了一个状态管理功能模块
   实现了一个zkfailover ，常驻在每一个NameNode所造的节点
   每一个zkfailover 负责监控自己所在NameNode节点，利用zk进行状态标识，当需要进行状态切换时，有zkfailover来负责切换
   切换时需要防止brain split现象的发生