linux双机热备方案,Hadoop HDFS系统双机热备方案 PDF

1. 前言

HDFS包含两种角色：数据节点(datanode)和名字节点(namenode)，名字节点只有一个，数据节点最多支持2000个。HDFS可以确保在硬件失效情况下数据存储的可靠性。常见的三种失败：名字节点失效, 数据节点失效和网络分割(network partitions)。

HDFS将每个文件存储成block序列，除了最后一个block，所有的block都是同样的大小。文件的所有block为了容错都会被复制。每个文件的block大小和replication因子都是可配置的。Replication因子可以在文件创建的时候配置，以后也可以改变。

每个Datanode节点都向Namenode周期性地发送心跳包。网络切割可能导致一部分Datanode跟Namenode失去联系。 Namenode通过心跳包的缺失检测到这一情况，并将这些Datanode标记为dead，不会将新的IO请求发给它们。Datanode的死亡可能引起一些block的副本数目低于指定值，Namenode不断地跟踪需要复制的 block，在任何需要的情况下启动复制。

因此在HDFS中通过复制可以确保数据节点的高可用性，名字节点的高可用性一般通过HA方式实现：

方案1 drbd+heartbeat

采用drbd实现共享存储，采用heartbeat实现心跳监控，所有服务器都配有双网卡，其中一个网卡专门用于建立心跳网络连接。

方案2磁盘阵列或SAN+ heartbeat

名字节点负责整个文件系统目录结构、文档权限和文档的扩展属性连同维护整个文档系统的数据一致性和响应客户端的请求。HDFS能够配置两个名字节点服务器，采用active/passive模式，两个服务器采用共享存储的方式来存放元数据。当某个名字节点出现故障后，备份服务器能够接管其服务，确保系统的正常运行。

以下我们通过DRBD和heartbeat实现了名字节点的高可用。

2. 基本配置

2.1. 硬件环境

测试环境为2节点，2台机器操作系统均为Red Hat Enterprise Linux AS4 UP2，2.6.9-22.EL。两台主机的eth1使用双机对联线直接连接。每台主机预留30G的raw空间作为共用空间被HA使用。

DRBD实现了网络RAID-1功能，即两台服务器一台是主节点，提供存储服务，一台是从节点。在主节点上的任何操作,都会被同步到从节点的相应磁盘分区上，达到数据备份的效果。当主节点发生故障时，通过heartbeat从节点可以接管主节点的虚拟IP。

Hadoop HDFS系统双机热备方案 PDF版下载：

具体下载目录在 /2012年资料/1月/1日/Hadoop HDFS系统双机热备方案/