通过Java API获取hadoop高可用下所有集群信息

最新推荐文章于 2024-07-21 22:44:45 发布

Yiie

最新推荐文章于 2024-07-21 22:44:45 发布

阅读量2.8k

点赞数 1

分类专栏：大数据文章标签：大数据 hadoop datanode

本文链接：https://blog.csdn.net/qq_39207647/article/details/100271008

版权

本文介绍如何利用Java API在Hadoop高可用环境下获取所有集群节点信息。通过Configuration配置集群参数，并展示相关代码实现，运行后得到DatanodeInfo数组，其中包含集群节点的详细状态。

摘要由CSDN通过智能技术生成

首先通过Configuration把集群的一些必要信息配置好
直接上代码

Configuration conf=new Configuration();
        conf.set("fs.defaultFS", "hdfs://yiie");
        conf.set("dfs.nameservices","yiie");
        conf.set("dfs.ha.namenodes.yiie", "nn1,nn2");
        conf.set("dfs.namenode.rpc-address.yiie.nn1", "192.168.116.116:8020");</