Hadoop配置原理简记

Hadoop配置原理简记

1.Hadoop配置文件采用XML格式，文件的根元素为configuration，包括子元素property。 每个property中有name、value、description标识；此外使用final关键字标识资源是否可被覆盖。
2.文件种类：分为默认配置如core-default.xml和用户自定义配置如core.xml，加载的顺序是先加载默认配置再加载用户自定义配置，自定义配置会覆盖未被final修饰的配置项。
3.配置文件支持属性扩展，即可以使用${xxx}的形式引用前面的配置

几个重要的类

Configuration类

Configuration类是Hadoop配置的主要类，其中配置信息被封装在Resource的内部类中，并且用resources数据进行保存。Configuration通过一些addResource()方法进行资源的加载如：addResource(String name)、addResource(URL url)、 addResource(Path file)。
此外Configuration中包含一个classLoader的成员变量，可以用来加载指定的类，也可以加载相关的资源。如上面的addResource()方法中将字符串路径指定的资源，通过类加载器转化为url资源再进行加载。
1.Configuration的懒加载机制：系统通过addResource()方法进行加载配置时其内部只是调用reloadConfiguration()方法进行内存资源的清理，配置资源的真正加载时在使用时如何内存中不存在再进行加载。
2.Hadoop的配置文件是xml形式的文件，使用时系统同调用Configuration的getProps()方法获取