Hadoop集群管理--保证集群平稳地运行

本篇介绍为了保证Hadoop集群平稳地运行，需要深入掌握的知识，以及一些管理监控的手段，日常维护的工作。

HDFS

永久性数据结构

对于管理员来说，深入了解namenode，辅助namecode和datanode等HDFS组件如何在磁盘上组织永久性数据非常重要。

洞悉各文件的用法有助于进行故障诊断和故障检出。

namenode的目录结构

namenode被格式化后，将在${dfs.namenode.name.dir}/current 目录下，产生如下的目录结构：VERSION、edits、fsimage、fstime。

只有深入学习namenode的工作原理，才能理解这些文件的用途。对于Hadoop集群管理员来说，这是有必要的。

辅助namenode的目录结构

在大型集群中，辅助namenode需要运行在一台专用机器上。保持和namenode基本一致的目录结构和数据，在主namenode发生故障时，可以从辅助namenode恢复数据。

datanode的目录结构

datanode不是格式化时创建的，而是启动时自动创建的。datanode的关键文件和目录如下所示：

dfs.data.dir 是在hadoop1