hadoop配置文件的加载机制

最新推荐文章于 2023-05-12 14:43:31 发布

jinhong_lu

最新推荐文章于 2023-05-12 14:43:31 发布

阅读量490

点赞数

本文链接：https://blog.csdn.net/jinhong_lu/article/details/46519365

版权

本文详细介绍了Hadoop配置文件的加载过程，包括通过Configuration类的addResource()和addDefaultResource()方法加载core-default.xml、core-site.xml等默认及自定义配置文件。通过示例代码展示了不同加载方式对配置属性获取的影响，强调了conf.addResource()和Configuration.addDefaultResource()的区别。

摘要由CSDN通过智能技术生成

hadoop通过Configuration类来保存配置信息
1、通过Configuration.addResource()来加载配置文件
2、通过Configuration.get***()来获取配置属性

1、创建一个新的Configuration实例时，会加载core-default.xml与core-site.xml，若还有其它配置，则调用addResource()继续添加。
package org.jediael.hadoopdemo;

import org.apache.hadoop.conf.Configuration;

public class ConfigurationDemo {
   public static void main(String[] args){
       Configuration conf = new Configuration();
       //conf.addResource("/opt/jediael/hadoop-1.2.1/conf/core-site.xml");
       Configuration.addDefaultResource("mapred-default.xml");

       //System.out.println(conf.get("fs.default.name"));
       System.out.println(conf.get("hadoop.tmp.dir"));
       System.out.println(conf.get("io.sort.mb"));
   }
}
输出结果为：
www:Downloads liaoliuqing$ had