获取hdfs_生产大数据集群资源监控HDFS指标获取(含code)

最新推荐文章于 2024-08-19 18:13:43 发布

weixin_39715513

最新推荐文章于 2024-08-19 18:13:43 发布

阅读量478

点赞数

文章标签：获取hdfs

本文链接：https://blog.csdn.net/weixin_39715513/article/details/112592657

版权

本文介绍了如何获取生产大数据集群中HDFS的监控指标，包括通过CM API和JMX两种方式。重点讲述了利用JMX访问特定URL获取JSON数据，并通过解析实现指标采集的详细步骤。示例代码包括StatefulHttpClient、JsonUtil工具类以及监控指标实体类的使用。

摘要由CSDN通过智能技术生成

本篇文章接着上篇内容继续，地址：生产大数据集群资源监控--指标获取(含code)

在获取了对应的IDC机器自身的指标之后，还需要对Hadoop集群中HDFS和YARN的指标进行采集，大体思路上可以有2种：

第一种当然还是可以延用CM API去获取，因为CM中的tssql提供了非常丰富的各种指标监控。
第二种即通过jmx去获取数据，其实就是通过访问上述这些相关的URL，然后将得到的json进行解析，从而获取到我们需要的数据，最终将这些数据归并到一起，定时的去执行采集操作。

在实际的实践过程当中使用jmx这种方式去进行获取，涉及到的url请求如下:

http://ruozedata001:50070/jmx?qry=Hadoop:service=NameNode,name=NameNodeInfo
http://ruozedata001:50070/jmx?qry=Hadoop:service=NameNode,name=FSNamesystemState

具体的代码实现思路如下：

首先需要有个httpclient，去向server发起请求，从而获得对应的json数据，这里自己编写了StatefulHttpClient 其次使用JsonUtil该工具类，用于Json类型的数据与对象之间的转换当然，我们也需要将所需要获取的监控指标给梳理出来，编写我们的entity。

MonitorMetrics.java:

public class MonitorMetrics {
    
    // beans为通过jmx所返回的json串中最起始的key
    // 结构为{"beans":[{"":"","":"",...}]}
    List> beans = new ArrayList<>();
    public List> getBeans() {
    
        return beans;
    }
    public void setBeans(List> beans) {
    
        this.beans = beans;
    }
    public Object getMetricsValue(String name) {
    
        if (beans.isEmpty()) {
    
            return nu