Hadoop：四个默认配置文件及与分布式系统搭建有关的属性

最新推荐文章于 2025-03-19 12:47:15 发布

瞧德

最新推荐文章于 2025-03-19 12:47:15 发布

阅读量2k

点赞数 2

分类专栏： Hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/qq_39192827/article/details/88795447

版权

本文详细介绍了Hadoop的四个默认配置文件：core-default.xml, hdfs-default.xml, mapred-default.xml, yarn-default.xml，以及与分布式系统搭建密切相关的属性，如hadoop.tmp.dir, fs.defaultFS, dfs.namenode.name.dir等。在搭建Hadoop集群时，这些属性的设置至关重要，直接影响到集群的安全性和性能。例如，hadoop.tmp.dir应根据需求修改以确保数据安全，dfs.replication设定副本数量，dfs.blocksize决定文件系统块大小。" 124883528,12014046,Vue.js 中的 Axios 使用详解,"['vue.js', 'javascript', '前端开发', 'HTTP请求']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

默认配置文件

Hadoop的底层是通过Java实现的，那么启动hadoop集群的守护线程实际上是加载并运行相关的class字节码文件，而配置信息是存储在相关的xml配置文件中的。

hadoop-common-2.7.3-sources.jar下的org.apache.hadoop.conf.Configuration源文件的部分代码：

package org.apache.hadoop.conf; 

public class Configuration implements Iterable<Map.Entry<String,String>>, Writable {
  static{
     addDefaultResource("core-default.xml");     //加载common模块的默认配置文件
     addDefaultResource("core-site.xml");        //加载个人配置的common配置文件
   }
}

hadoop-hdfs-2.7.3-sources.jar下的org.apache.hadoop.hdfs.HdfsConfiguration源文件的部分代码：

package org.apache.hadoop.hdfs;  
import org.apache.hadoop.conf.Configuration;  
 
public class HdfsConfiguration extends Configuration {
  static {
    Configuration.addDefaultResource("hdfs-default.xml");  //加载hdfs模块的默认配置文件
    Configuration.addDefaultResource("hdfs-site.xml");     //加载个人配置的hdfs配置文件 
  }
}

可见启动守护线程时，jvm会先加载默认配置文件(xxx-default.xml)，再加载个人配置文件(xxx-site.xml)，个人配置文件中的属性会覆盖掉默认属性

Hadoop的默认配置文件：