Hadoop源码分析之Configuration

最新推荐文章于 2022-05-11 18:43:59 发布

我的十六亩三分地

最新推荐文章于 2022-05-11 18:43:59 发布

阅读量3.3k

点赞数 1

分类专栏： Hadoop

本文链接：https://blog.csdn.net/workformywork/article/details/17298689

版权

本文详细剖析了Hadoop中Configuration类的重要角色，包括配置文件、属性保存、属性扩展、延迟加载和键值对加载的过程。Configuration是Hadoop功能的基础，通过延迟加载策略提升效率，并在需要时动态读取XML配置。了解这一核心机制对深入理解Hadoop至关重要。

摘要由CSDN通过智能技术生成

org.apache.hadoop.conf.Configuration类是Hadoop所有功能的基础类，每一种功能执行之前都需要有先得到一个Configuration对象。Hadoop使用了XML文件作为配置文件，来保存运行时的配置信息，然后将配置加载到Configuration对象中，要使用配置信息时直接从Configuration对象中取。

Hadoop配置文件

将下载的Hadoop压缩包解压后，再文件夹中有一个conf文件夹，这里面有一些Hadoop启动时使用的配置文件，比如配置Hadoop为伪分布式后的core-site.xml文件为：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://localhost:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/home/gmy/hadoop/tmp</value>
	</property>
</configuration>

如上面的xml代码所示，Hadoop的XML配置文件的根节点是configuration，下一层的节点是property，每个property都代表一个配置项，由键值对组成，name节点表示该配置项的键，value节点表示值，除了name和value节点，property节点另一个重要的子节点是final，它表示这个键值对是不可覆盖的，是固定不变的，和Java中的final关键字类似。property节点还有个description子节点，是对该属性的描述，类似于Java的注释，在程序中不使用。

property的保存

在Configuration类中，有个java.util.Properties类型的成员变量properties，它保存了所有读取到的键值对配置项。调用Configuration.get()方法时，是从properties对象中取值，Configuration.get()的相关代码如下：

public String get(String name) {
    return substituteVars(getProps().getProperty(name));
  }
private synchronized Properties getProps() {
    if (properties == null) {
      properties = new Properties();
      loadResources(properties, resources, quietmode);
      if (overlay!= null) {
        properties.putAll(overlay);
        for (Map.Entry<Object,Object> item: overlay.entrySet()) {
          updatingResource.put((String) item.getKey(), UNKNOWN_RESOURCE);
        }
      }
    }
    return properties;
 }

其中get()方法中调用