java 监控hadoop webui数据

最新推荐文章于 2020-04-15 10:55:07 发布

MengShi_

最新推荐文章于 2020-04-15 10:55:07 发布

阅读量374

点赞数

分类专栏： java hadoop

本文链接：https://blog.csdn.net/MengShi_/article/details/102838409

版权

本文介绍了如何使用Java程序来监控Hadoop的WebUI，从而获取并分析集群的运行状态和数据处理情况。通过API调用，你可以实时获取HDFS、MapReduce和YARN等模块的关键指标，包括任务进度、磁盘使用率、内存消耗等，以便于优化Hadoop集群的性能和资源利用率。

摘要由CSDN通过智能技术生成

import java.io.*;
import java.text.SimpleDateFormat;

import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import javafx.scene.chart.PieChart;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpException;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.methods.PostMethod;
import org.apache.commons.httpclient.params.HttpMethodParams;
import org.apache.log4j.Logger;

public class httptest {
    private static final Logger log = Logger.getLogger(httptest.class);
    private static SimpleDateFormat df;
    public static String sendPost(String urlParam) throws HttpException, IOException {
        // 创建httpClient实例对象
        HttpClient httpClient = new HttpClient();
        // 设置httpClient连接主机服务器超时时间：15000毫秒
        httpClient.getHttpConnectionManager().getParams().setConnectionTimeout(15000);
        // 创建post请求方法实例对象
        Post