Hadoop-2-hadoop的HA搭建

hadoop集群的三种搭建安装方式

hadoop 伪分布式模式安装
Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，
节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。
hadoop 分布式集群安装
集群规划：

	HDFS	YARN
Hadoop02	NameNode + DataNode 主节点	NodeManager
Hadoop03	DataNode + SecondaryNamenode	NodeManager
Hadoop04	DataNode	NodeManager + ResourceManager 主节点

Hadoop HA集群安装

1. 为什么要搭建HA？

在hadoop2.x之前，在HDFS 集群中NameNode 存在单点故障 (SPOF：A Single Point of Failure)。对于只有一个 NameNode 的集群，如果 NameNode 机器出现故障(比如宕机或是软件、硬件升级)，那么整个集群将无法使用，必须等到 NameNode 重新启动，之后才能对外提供服务，这个方式在生成环境中是绝对不允许出现的。

2.那如何解决单点故障呢？

HDFS 的 HA：通过配置 Active/Standby 两个 NameNodes 实现在集群中对 NameNode 的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将 NameNode 很快的切换到另外一台机器。

简单原理介绍：
在一个典型的 HDFS(HA) 集群中，使用两台单独的机器配置为 NameNodes 。在任何时间点，
确保 NameNodes 中只有一个处于 Active 状态，其他的处在 Standby 状态。其中
ActiveNameNode 负责集群中的所有客户端操作，StandbyNameNode 仅仅充当备机，保证一
旦 ActiveNameNode 出现问题能够快速切换。
为了能够实时同步 Active 和 Standby 两个 NameNode 的元数据信息（实际上 editlog），需提
供一个共享存储系统 .可以是 NFS、QJM（Quorum Journal Manager 或者Zookeeper，Active Namenode 将数据写入共享存储系统，而 Standby 监听该系统，一旦发现有新数据写入，则读取这些数据，并加载到自己内存中，以保证自己内存状态与 Active NameNode 保持基本一致，如此这般，在紧急情况下 standby 便可快速切为 active namenode。为了实现快速切换，
Standby 节点获取集群的最新文件块信息也是很有必要的。为了实现这一目标，DataNode 需
要配置 NameNodes 的位置，并同时给他们发送文件块信息以及心跳检测

3. HA的工作原理？

解释（数据一致以及持久化问题）：

• 当hdfs客户端连接namenode时，namenode启动时，会向JN集群提交edtis log（操作记录日志）。
• 此时在JN集群中，当有一半的集群服务成功的接收到了消息，然后返回给namenode，这就表示edits log上传成功。
• 此时NameNode（standBy），需要从JN集群取回元数据信息，然后整合新的fsimage，然后推送回NameNode（active）
• 在NameNode（standBy）向JN索要数据的时候，首先在JN中会查看是否有宕机的机器，采用过半机制（当集群中有部分服务器宕机时，此时集群会将大部分可以使用的机器作为主，其他的机器全部停止服务），去向备机（standBy）提供对外的数据传输。
• 在解决block 块信息时，此时datanode会向两台namenode都发送block 块信息。

解释（解决主备切换问题）：

• 此时需要使用到另外一个集群zookeeper，zookeeper集群是一个高可用的集群，它的实现机制是，首先是一个服务器提供对外的服务，其他的机器是备机，当主机坏了的时候，此时zookeeper集群中采取投票机制（逻辑时钟,ID号，以及数据的更新程度），选出新的主。
• 此时ZKFC服务控制线程一直手抓住了zookeeper集群，另一只手抓住了NameNode。
  • 抓住NameNode（active）的服务控制，监控NameNode（active）的状态，实时的向zookeeper集群汇报。
  • 抓住NameNode（standBy）的服务控制，接收zookeeper集群发送的信息，如果发送过来的信息，表示主NameNode已停止服务，立刻调用服务控制中的回调函数，让NameNode（standBy）变成主机继续提供服务。
• 以上的作用是一个和keeplive相同的作用，使用zookeeper不同之处在于，如果服务控制处出现进程的异常退出时，此时通过zookeeper集群会将备机改为active状态，此时主机可能还是active，就造成了两台active的NameNode。
  • 在zookeeper中是这样解决的：当有一个服务控制进程异常退出后，他会有一只无形的手去连接另外一台NameNode，并且在可控的范围内，将其变成主（active），而将自己无法控制的那台NameNode，变成备机。

4. HA的集群搭建？

未完待续