HDFS源码剖析第一篇：Hadoop Configuraion

最新推荐文章于 2023-11-26 16:43:18 发布

StevenCoder

最新推荐文章于 2023-11-26 16:43:18 发布

阅读量865

点赞数

分类专栏： Hadoop JAVA 文章标签： hadoop

本文链接：https://blog.csdn.net/liaosongbo/article/details/45618795

版权

本文主要探讨Hadoop中的Configuration，它以键值对形式存储配置信息，加载默认及动态资源如core-default.xml和core-site.xml。Configuration利用WeakHashMap管理资源，确保键在无引用时能被自动清理。在获取属性值时，会从多个资源重新加载。此外，defaultResource为静态，所有Configuration共享并保证线程安全，采用CopyOnWriteArrayList避免并发问题。Configuration还支持通过set方法修改配置并保存到overlay属性。

摘要由CSDN通过智能技术生成

Hadoop的源码实在庞大, 第一部分先分析Configuration。

Hadoop系统中的一个configuration,可以看做是一堆key-value对，保存在Configuration的properties属性中，而这些properties来源于 Resources，一个Resource可以是一个xml文件，可以是另一个Configuration，等等。Configuration会默认加载 core-default.xml和core-site.xml两个Resource。Configuration可以调用AddResource方法动态加载Resource，加载后，会触发Hadoop系统中所有configuration的property重构。

为了知道Hadoop系统中有哪些Configuration, Configuration类中就由一个static 的 REGISTRY, 是一个WeakHashMap，但Value没有用到，保存了所有存在的Configuration。

WeakHashMap是一个比较有趣的东西。

HashMap当put(key,value)时，会给key加一个reference，当这个key在其他地方都被删除了，如果HashMap没有删除这个key, gc时是不会回收这个key的。

但WeakHashMap put (key, value)时，不会给key加一个reference, 当这个key在其他地方被删除后，gc之后，WeakHashMap会自动删除这个key, 所以，WeakHashMap非常适合管理资源，当资源被删除后，WeakHashMap也会自动删除这个key:

1. 新建WeakHa