Hadoop-2.4.1学习之NameNode -format源码分析

最新推荐文章于 2020-12-05 17:36:55 发布

skyWalker_ONLY

最新推荐文章于 2020-12-05 17:36:55 发布

阅读量6.1k

点赞数 2

分类专栏： Hadoop-2.x Hadoop 文章标签： Hadoop-2.4.1 源代码 fsimage format edits

本文链接：https://blog.csdn.net/skywalker_only/article/details/39319113

版权

Hadoop 同时被 2 个专栏收录

49 篇文章 22 订阅 ¥9.90 ¥99.00

订阅专栏

Hadoop-2.x

29 篇文章 18 订阅 ¥9.90 ¥99.00

订阅专栏

本文详细分析了Hadoop-2.4.1中执行`hdfs namenode -format`命令时的源代码流程，从NameNode的main方法开始，探讨了如何解析命令行参数，如何执行format方法，以及在这个过程中涉及的关键步骤，包括设置StartupOption，获取NameServiceID和NameNode ID，检查格式化权限，配置文件中的目录设定，以及生成fsimage和edits文件的过程。通过对源码的深入理解，揭示了HDFS格式化的内部工作机制。

摘要由CSDN通过智能技术生成

在Hadoop-2.X中，使用hdfs namenode –format对文件系统进行格式化。虽然无论是在生产环境还是测试环境中，已经使用了该命令若干次了，也大体了解该命令就是在本地文件系统中创建几个文件夹，但具体是如何执行的则需要通过阅读源代码来了解了。

要想看到该命令的源代码，需要看看hdfs脚本中是如何执行相应的java类的。在hdfs脚本中，下面的语句说明了实际执行的java类和参数，其中类为org.apache.hadoop.hdfs.server.namenode.NameNode，参数为-format。虽然在命令行中输入的为hdfs namenode –forma，但将namenode赋予了COMMAND，并进行了参数的移位，这样参数就剩下了-format。

COMMAND=$1
Shift

if [ "$COMMAND" = "namenode" ] ; then
  CLASS='org.apache.hadoop.hdfs.server.namenode.NameNode'
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_NAMENODE_OPTS"

exec "$JAVA" -Dproc_$COMMAND $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@"<

了解本专栏