yarn监控--获取任务的状态信息

阿华田512

已于 2023-04-28 18:35:09 修改

阅读量1.1w

点赞数 3

分类专栏： yarn 文章标签： yarn任务监控获取yarn任务状态获取yarn任务的信息

于 2019-03-26 16:20:04 首次发布

本文链接：https://blog.csdn.net/aA518189/article/details/88570211

版权

本文介绍了如何使用Java获取YARN上任务的状态和信息，包括初始化YARN客户端、添加依赖以及编写监控代码的详细步骤。通过理解YarnApplicationState枚举，可以有效地监控任务状态，及时发现并解决问题。

摘要由CSDN通过智能技术生成

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

简介

生产环境大多数任务都会提交到yarn上去运行，如何获取任务在yarn上的状态以及信息，非常重要。如果能获取任务在yarn上的状态和信息，那么我们就能及时发现任务出现的问题。本文以java或者python去获取yarn任务的状态为例，详细介绍获取yarn任务信息的步骤。

java版

第一步：初始化yarn_client

方式1:把yarn-site.xml文件导入到监控系统（meavn工程）的resources文件下

方式2：通过rm初始化yarn_client

private YarnClient initYarnClientFromRmAddress(List<String> rmHosts) {
        Configuration conf = new YarnConfiguration();
        conf.set("yarn.resourcemanager.ha.enabled", "true");
        conf.set("yarn.client.failover-max-attempts", "1");
        log.info("query cluster info take {} ms", watch.getTime());
        watch.split();
        List<String> rmCodeList = new ArrayList<>();
        for (int i &