Hadoop的HA机制

 Hadoop的HA机制

前言：正式引入HA机制是从hadoop2.0开始，之前的版本中没有HA机制

1.1HA的运作机制

（1）hadoop-HA集群运作机制介绍

所谓HA，即高可用（7*24小时不中断服务）

实现高可用最关键的是消除单点故障

hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA

 

（2）HDFS的HA机制详解

通过双namenode消除单点故障

双namenode协调工作的要点：

    A、元数据管理方式需要改变：

    内存中各自保存一份元数据

    Edits日志只能有一份，只有Active状态的namenode节点可以做写操作

    两个namenode都可以读取edits

    共享的edits放在一个共享存储中管理（qjournal和NFS两个主流实现）

    B、需要一个状态管理功能模块

    实现了一个zkfailover，常驻在每一个namenode所在的节点

    每一个zkfailover负责监控自己所在namenode节点，利用zk进行状态标识

    当需要进行状态切换时，由zkfailover来负责切换

    切换时需要防止brain split现象的发生

 

1.2 HDFS-HA图解：