Hadoop 工作原理

第一部分：目前Hadoop1.0架构的问题

 

单点故障

•如果NameNode或者JobTraker关掉，那么整个集群瘫痪。

•对于7×24生产环境，是具有极大的风险。

 

 

 

第二部分：常见的HA方案

•第一种是可以设置一个NFS的目录，存储fsimage和editlog，存储的是实时数据，这样当namenode挂掉后能够通过fsimage和editlog进行完全恢复。

•第二种是设置Secondary Namenode。

•问题：不能迅速的切换，需要花费一定时间恢复。

 

 

FaceBook的方案

•不改变namenode和datanode整体逻辑的基础上，在其上层开发出AvaterNode，AvatarNode的意思就是支持互相切换。

•提供一个Primary Avatar和一个Standby Avatar，通过virual IP来设置IP地址。

•Primary Avatar对外提供服务，设置了NFS目录，将FSImage和EditLog远程存储。Standby Avatar将NFS目录中的FSImage和EditLog读取过来进行同步，并且设置Standby Avatar一直处于safemode状态，不影响正常操作。这样Standby Avatar相当于一个热拷贝，获得了所有的实时数据。

 

 

 

       

第三部分：Hadoop0.23 是如何解决的HA

 

 

 

•提供2台 机器做双机热备

•一台为Active 节点，一台为StandBy节点

•同时只有Active节点对外提供服务

•源数据存储在共享存储

•StandBy会时刻到共享存储拿Meta信息，以保证切换时不会丢掉数据

•DataNode会向2台机器汇报自己的信息

•仍需要配置Sencondary NameNode接解决Edits log变大问题

  转载请注明出处【  http://sishuok.com/forum/blogPost/list/0/5939.html】