5、Hadoop存储系统：NameNode高可用、ZooKeeper与HDFS快照详解

Hadoop存储系统：NameNode高可用、ZooKeeper与HDFS快照详解

1. HDFS基础操作与文件属性

在HDFS操作中，我们可以通过一些命令查看文件的详细信息。例如，注意文件属性和所有者之间的新列，这是文件的复制因子。执行以下命令可以查看文件的末尾内容：

$ hdfs dfs -tail testdir/testfile.txt
Hello world

大部分 dfs 子命令都很直观，大家可以多尝试。

2. 保护文件系统元数据

fsimage 文件对文件系统至关重要，其丢失会导致灾难性故障。在Hadoop 1中，NameNode是单点故障，最佳实践是配置NameNode将 fsimage 和 edits 文件同步写入本地存储以及远程文件系统（通常是NFS）的至少一个其他位置。若NameNode发生故障，可使用此最新的文件系统元数据副本启动替换的NameNode，但该过程需要大量手动干预，且会导致集群在一段时间内完全不可用。

3. 辅助NameNode的作用

Hadoop 1中最容易引起误解的组件是辅助NameNode，很多人误以为它是某种备份或备用NameNode，但并非如此。辅助NameNode仅负责定期读取 fsimage 和 edits 文件的最新版本，并应用未完成的编辑来创建新的最新 fsimage </