HADOOP NAMENODE FORMAT过程分析

最新推荐文章于 2024-06-17 10:45:02 发布

aperson111

最新推荐文章于 2024-06-17 10:45:02 发布

阅读量3.7k

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/aperson111/article/details/7974062

版权

本文详细分析了Hadoop HDFS中NameNode的format过程，包括启动format、NameNode的main函数、创建NameNode实例、执行NameNode.format操作以及FSImage格式化核心流程。在format过程中，NameNode会检查并格式化fsimage和edits文件所在的目录，创建系统基本信息，并保存到fsimage和edits文件中，确保分布式文件系统能正确启动。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

namenode format操作是使用hadoop分布式文件系统前的步骤。如果不执行这个步骤，无法正确启动分布式文件系统。所以个人认为有必要对这个过程进行分析。

（1）启动format

hadoop namenode -format

在之前关于start-dfs.sh的脚本分析过程，已经介绍到hadoop的脚本，namenode对应的执行类是org.apache.hadoop.hdfs.server.namenode.NameNode类，传入的-format参数传入到执行类，作为执行类的参数。

（2）NameNode的入口main函数

try {
StringUtils.startupShutdownMessage(NameNode.class, argv, LOG);
NameNode namenode = createNameNode(argv, null); //通过createNameNode方法创建NameNode对象，并传入参数，这里传入的是-format
if (namenode != null)
namenode.join();
} catch (Throwable e) {
LOG.error(StringUtils.stringifyException(e));
System.exit(-1);
}

（3）NameNode.createNameNode创建NameNode实例

if (conf == null)
conf = new Configuration(); //创建Configuration实例，获取配置参数。
StartupOption startOpt = parseArguments(argv); //解析参数
if (startOpt == null) {
printUsage();
return null;
}
setStartupOption(conf, startOpt);

switch (startOpt) {
case FORMAT: //对应-format参数
boolean aborted = format(conf, true); //执行format()
System.exit(aborted ? 1 : 0); //执行后，直接退出，并不启动namenode服务
case FINALIZE:

最低0.47元/天解锁文章