hadoop HA完全分布式模式原理即配置

1、概论

再hadoop1.x之前一直存在着单点故障问题，即nemenode只有一个。hadoop 2.x后引入HA的机制，HA是完全分布式结构。主要有两种一种是NFS（Network File System）方式，另外一种是QJM（Quorum Journal Manager）方式。用的最多的是QJM的方式，特点稳定性更好。

2、namenode数据同步

hadoop2.0的HA 机制有两个namenode，一个是active namenode，状态是active；另外一个是standby namenode，状态是standby。两者的状态是可以切换的，但不能同时两个都是active状态，最多只有1个是active状态。只有active namenode提供对外的服务，standby namenode是不对外服务的。active namenode和standby namenode之间通过NFS或者JN（journalnode，QJM方式）来同步数据。

为了确保两个namenode之间只有一个namenode处于激活状态，QJM方式本身就有fencing的功能通过多个journal节点增强了系统的健壮性，所以建议在生成环境中采用QJM的方式。确保一个时间内只有一个namenode处于Active状态，服务采用的是隔离（fencing）机制。

两个namenode之间的数据同步是通过QJM方式中的JournalNode（JN）来实现，active namenode会把最近的操作记录写到本地的一个edits文件中（edits file），并传输到JN中。standby namenode定期的检查，从JN把最近的edit文件读过来，然后把edits文件和fsimage文件合并成一个新的fsimage，合并完成之后会通知active namenode获取这个新fsimage。active namenode获得这个新的fsimage文件之后，替换原来旧的fsimage文件。

这样，保持了active namenode和standby namenode的数据的实时同步，standby namenode可以随时切换成active namenode（譬如active namenode挂了）。而且还有一个原来hadoop1.0的secondarynamenode，checkpointnode，buckcupnode的功能：合并edits文件和fsimage文件，使fsimage文件一直保持更新。所以启动了hadoop2.0的HA机制之后，secondarynamenode，check