Hadoop集群搭建模式和各模式问题

分布式集群的通用问题

当前的HDFS和YARN都是一主多从的分布式架构，主从节点—管理者和工作者

问题：如果主节点或是管理者宕机了。会出现什么问题？

群龙无首，整个集群不可用。所以在一主多从的架构中都会有一个通用的问题：

当集群中的主节点宕机之后，整个集群不可用。这个现象叫做：单点故障。SPOF

单点故障讲述的概念有两点
1、如果说宕机的那个节点是从节点，那么整个集群能够继续运行，并且对外提供正常的服务。

2、如果说宕机的那个节点是主节点，那么整个集群就处于宕机状态。

通用的解决方案：高可用

概念：当正在对外提供服务器的主从节点宕机，那么备用的主节点立马上位对外提供服务。无缝的瞬时切换。

集群的搭建的集中通用模式

1、单机模式

表示所有的分布式系统都是单机的。

2、伪分布式模式（搭建在了只有一个节点的集群中）

表示集群中的所有角色都分配给了一个节点。

表示整个集群被安装在了只有一个节点的集群中的。

主要用于做快速使用，去模拟分布式的效果。

3、分布式模式

表示集群中的节点会被分配成很多种角色，分散在整个集群中。

主要用于学习测试等等一些场景中。

4、高可用模式

表示整个集群中的主节点会有多个

注意区分：能够对外提供服务的主节点还是只有一个。其他的主节点全部处于一个热备的状态。

正在对外提供服务的主节点：active 有且仅有一个

热备的主节点：standby 可以有多个

工作模式：1、在任意时刻，只有一个主节点是active的，active的主节点对外提供服务

2、在任意时刻，都应至少有一个standby的主节点，等待active的宕机来进行接替

架构模式：就是为了解决分布式集群中的通用问题SPOF

不管是分布式架构还是高可用架构，都存在一个问题：主从结构—从节点数量太多了。最直观的的问题：造成主节点的工作压力过载，主节点会宕机，当前的这种现象是一种死循环

5、联邦模式

表示当前集群中的主从节点都可以有很多个。

1）主节点：可以有很多个的意思是说：同时对外提供服务的主节点有很多个。

重点：每一个主节点都是用来管理整个集群中的一部分

2）从节点：一定会有很多个。

在联邦模式下还是会有问题：

虽然这个集群中的一个主节点的压力被分摊到了多个主节点。但是这个多个主节点依然会有一个问题：SOFP