yarn监控--获取任务的状态信息

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

简介

         生产环境大多数任务都会提交到yarn上去运行，如何获取任务在yarn上的状态以及信息，非常重要。如果能获取任务在yarn上的状态和信息，那么我们就能及时发现任务出现的问题。本文以java或者python去获取yarn任务的状态为例，详细介绍获取yarn任务信息的步骤。

java版

第一步：初始化yarn_client

方式1:把yarn-site.xml文件导入到监控系统（meavn工程）的resources文件下

方式2：通过rm初始化yarn_client

private YarnClient initYarnClientFromRmAddress(List<String> rmHosts) {
        Configuration conf = new YarnConfiguration();
        conf.set("yarn.resourcemanager.ha.enabled", "true");
        conf.set("yarn.client.failover-max-attempts", "1");
        log.info("query cluster info take {} ms", watch.getTime());
        watch.split();
        List<String> rmCodeList = new ArrayList&