Hadoop的namenode是关键节点,虽然业务尽量单一,减少出错几率,但是程序都有出错的可能,所以还是需要有效的办法来解决,如下是权威指南里面介绍的两种方法:
1、备份那些组成文件系统元数据持久状态的文件。hadoop可以通过配置使namenode在多个文件系统上保存元数据的持久状态。这些写操作是实时同步的,是原子操作。一般的配置是:将持久状态写入本地磁盘的同时,写入一个远程挂载的网络文件系统NFS
2、运行一个辅助的namenode,但它不能被用作namenode。这个辅助的namenode的重要作用是定期通过编辑日志合并命名空间镜像,以防止编辑日志过大。这个辅助namenode一般在另一台单独的物理计算机上运行,因为它需要占用大量CPU时间与namenode相同容量的内存来执行合并操作。它会保存合并后的命名空间镜像的副本,并在namenode发生故障时启用。辅助namenode保存的状态总是滞后于主节点,所以在主节点全部失效时,难免会丢失部分数据,在这种情况下,一般把存在在NFS上的namenode元数据复制到辅助namenode并作为新的主namenode运行。
-------------------------------------------------------------------------------------------------------------------
作者:CNZQS|JesseZhang 个人博客:CNZQS(http://www.cnzqs.com)
版权声明:除非注明,文章均为原创,可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本声明
--------------------------------------------------------------------------------------------------------------------