1.3.4HADOOP-HA理论篇

总目录：https://blog.csdn.net/qq_41106844/article/details/105553392

Hadoop - 子目录：https://blog.csdn.net/qq_41106844/article/details/105553369

 

 

 

概述

1.概述

HA模式用白话来说就是，在工作开始前，指定老大和老二，老大因为可抗力或不可抗力失去工作能力，那么老二就升任老大，继续运转。

2.Hadoop1.X和Hadoop2.X的区别

Hadoop1.X就是一个老大，一帮小弟的架构。有人谈业务找老大，找小弟也找老大，小弟每隔一段时间还要和老大请安，久而久之，迟早有老大受不了崩溃的情况。

这样的话，Hadoop1.X集群经常在NameNode受压过大的情况下崩溃（SNN确实可以缓解一定压力），一旦NameNode崩溃，集群死机，造成各方损失是巨大的，为了弥补这个缺陷，推出了Hadoop2.X。

 

Hadoop1.X官方架构

在图中，我们只有一个NN，一旦他宕掉，整个集群将瘫痪。

 

Hadoop2.X和1.X最大的区别是可以设置多个NN，并且使用zookeeper来调度NN，还有JNN来同步NN。两个总比一个保险，同时Hadoop2.X使用YARN来调度资源，在一定程度上让各节点资源利用率最大化，在另一个方面减小了 NN的负担。

 

 

hadoop2.X架构

2.X可以理解为，公司平常运作靠总经理(NNA)，然后还有一个副总经理(NNS)，在两个总经理之间有一个叫做同步秘书(JNN)的部分，负责将总经理处理过的所有事物都在副总经理那里备份。然后还有一个叫做董事会(ZK)的部分，他们制定了一个叫做协调董事(ZKFC)的职位，一旦总经理不行了，协调董事马上提升副总经理为总经理保持运作。这时，总经理变成副总经理。

2.x版本中，HDFS架构解决了单点故障问题，即引入双NameNode架构，同时借助共享存储系统来进行元数据的同步，上图中用的是QJM作为共享存储组件，通过搭建奇数结点的JournalNode实现主备NameNode元数据操作信息同步。

3.手动HA和自动HA的区别

手动HA和自动HA的区别就是，NN1在宕机后，NN2会成为active，但是NN2的提升是用户手动敲命令提升，还是通过zookeeper来自动提升。