第三章 调度系统架构设计之获取集群资源信息

最新推荐文章于 2023-07-03 18:45:00 发布
最新推荐文章于 2023-07-03 18:45:00 发布
阅读量502 收藏
点赞数
分类专栏： # 集群资源调度与管理 文章标签： java 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27924553/article/details/126099122
版权
  • 实现方案：通过Rest API方式获取集群资源与内存信息判断是否继续提交任务还是将任务阻塞在客户端

1、Yarn的Rest API

（1）Rest API简介

​ Rest将增删改查直接映射到HTTP中已实现的GET、POST、PUT、DELETE方法。

（2）Yarn Rest API

​ Hadoop YARN 自带了一系列的web service REST API，我们可以通过这个web service，可以通过web service访问集群（cluster）、节点（nodes）、应用（application）以及应用的历史信息。

  • 注意事项：web service REST API语法如下
http://{http address of service}/ws/{version}/{resourcepath}

①address：获取服务器的地址信息，包括RM、NM、History

②ws：固定语句

③version：API版本

④resourcepath：资源路径

（3）Yarn集群监控指标相关Rest API

①API说明

  • 访问路径：
http://<rm http address:port>/ws/<version>/cluster/metrics
  • 查询结果

在这里插入图片描述

  • 参数说明
元素解释
appsSubmitted提交的申请量
appsCompleted已完成的申请量
appsPending待处理的申请数量
appsRunning运行的应用程序数量
appsFailed申请失败次数
appsKilled被杀死的应用程序数量
reservedMB保留的内存量（以 MB 为单位）
availableMB可用内存量（以 MB 为单位）
allocatedMB以 MB 为单位分配的内存量
totalMB以 MB 为单位的总内存量
reservedVirtualCores保留的虚拟核心数
availableVirtualCores可用虚拟核心数
allocatedVirtualCores分配的虚拟核心数
totalVirtualCores虚拟核心总数
containersAllocated分配的容器数量
containersReserved保留的容器数量
containersPending待处理的容器数
totalNodes节点总数
activeNodes活跃节点数
lostNodes丢失节点数
unhealthyNodes不健康节点数
decommissionedNodes退役节点数
rebootedNodes重启的节点数

②Rest API实战案例

  • yarn连接配置文件
# RM
RM_ACTIVE = 10.148.15.6
RM_ACTIVE_HOST = 8088
RM_STANDBY = 127.0.0.1
RM_STANDBY_HOST = 8088
PERCENT=0.98
REST_RESOURCE_URL=/ws/v1/cluster/metrics
  • yarn配置类
public class Configuration {
    private static Logger logger = Logger.getLogger(Configuration.class);

    private static Properties properties = new Properties();
    private static Configuration configuration ;

    public static Configuration getConfiguration(){
        if (configuration == null){
            synchronized (Configuration.class){
                if (configuration == null){
                    configuration = new Configuration();
                }
            }
        }
        return configuration;
    }

    public String get(String key){
        return (String)properties.get(key);
    }
    private Configuration(){
        String filePath = System.getProperty("user.dir") + "/src/main/resources/yarn.properties";
        InputStream in = null;
        try {
            in = new BufferedInputStream(new FileInputStream(filePath));
            properties.load(in);
        } catch (FileNotFoundException e) {
            logger.error(e.toString());
        } catch (IOException e) {
            logger.error(e.toString());
        }
    }
}
  • yarn集群指标监控
public class CheckRM {
    private static Logger logger = Logger.getLogger(CheckRM.class);
    public static volatile boolean isReady = true;

    public static void main(String[] args) throws IOException {
        // ①读取配置文件
        PropertyConfigurator.configure(System.getProperty("user.dir")
                + "/src/main/resources/log4j.properties");
        String hostA = Configuration.getConfiguration().get("RM_ACTIVE");
        String portA = Configuration.getConfiguration().get("RM_ACTIVE_HOST");
        String hostS = Configuration.getConfiguration().get("RM_STANDBY");
        String portS = Configuration.getConfiguration().get("RM_STANDBY_HOST");
        double percent = Double.parseDouble(Configuration.getConfiguration().get("PERCENT"));
        System.out.println("active host : " + hostA + ", active port : " + portA + ";standby host : " + hostS + ",standby port :" + portS);
        String restResourceUrl = Configuration.getConfiguration().get("REST_RESOURCE_URL");
        String restUrl = "http://" + hostA + ":" + portA + restResourceUrl;

        // ②Rest API连接集群
        JSONObject resource = JSON.parseObject(HttpUtil.sendGet(restUrl)).getJSONObject("clusterMetrics");

        // ③获取相关参数
        long totalMem = resource.getLong("totalMB");
        long usedMem = resource.getLong("allocatedMB");

        long totalCpu = resource.getLong("totalVirtualCores");
        long usedCpu = resource.getLong("allocatedVirtualCores");

        System.out.println("总内存容量 is " + totalMem + ", 已被使用内存容量 is " + usedMem
                + "and CPU容量 is " + totalCpu + ", 被使用CPU容量 is " + usedCpu + " in YARN");
        if ((totalMem * percent < usedMem) || totalCpu * percent < usedCpu) {
            System.out.println("yarn is busy, please waiting...");
        } else {
            System.out.println("commit yarn task");
        }
    }
}
  • 查询结果

在这里插入图片描述
（4）监控ResourceManager状态的Rest API

①Rest API简介

  • 访问路径：
http://leidi01:8088/ws/v1/cluster
  • 查询结果

在这里插入图片描述

  • 参数说明
元素含义
id集群ID
startedOn集群启动的时间（以毫秒为单位）
stateResourceManager 状态 - 有效值为：NOTINITED、INITED、STARTED、STOPPED
haStateResourceManager HA 状态 - 有效值为：INITIALIZING、ACTIVE、STANDBY、STOPPED
resourceManagerVersion资源管理器的版本
resourceManagerBuildVersionResourceManager 构建字符串，包含构建版本、用户和校验
resourceManagerVersionBuiltOnResourceManager 构建时的时间戳（自纪元以来的毫秒数）
hadoopVersionhadoop常用版本
hadoopBuildVersion具有构建版本、用户和校验和的 Hadoop 通用构建字符串
hadoopVersionBuiltOn构建hadoop common时的时间戳（自纪元以来的毫秒数）

②Rest API实战案例

  • 配置文件
# RM
RM_ACTIVE = 192.168.6.102
RM_ACTIVE_HOST = 8088
RM_STANDBY = 127.0.0.1
RM_STANDBY_HOST = 8088
PERCENT=0.98
REST_RESOURCE_URL=/ws/v1/cluster/metrics
REST_CLUSTER_URL=/ws/v1/cluster
  • 线程实现
public class CheckRM {
    private static Logger logger = Logger.getLogger(CheckRM.class);
    public static volatile boolean isReady = true;

    public static void main(String[] args) throws IOException {
        // ①读取配置文件
        PropertyConfigurator.configure(System.getProperty("user.dir")
                + "/src/main/resources/log4j.properties");
        String hostA = Configuration.getConfiguration().get("RM_ACTIVE");
        String portA = Configuration.getConfiguration().get("RM_ACTIVE_HOST");
        String hostS = Configuration.getConfiguration().get("RM_STANDBY");
        String portS = Configuration.getConfiguration().get("RM_STANDBY_HOST");
        System.out.println("active host : " + hostA + ", active port : " + portA + ";standby host : " + hostS + ",standby port :" + portS);
        String restClusterUrl = Configuration.getConfiguration().get("REST_CLUSTER_URL");
        String restUrl1 = "http://" + hostA + ":" + portA + restClusterUrl;


        // ②发送http请求连接集群并获取返回信息
        JSONObject cluster = JSON.parseObject(HttpUtil.sendGet(restUrl1)).getJSONObject("clusterInfo");

        // ③获取相关参数
        long id = cluster.getLong("id");
        long startedOn = cluster.getLong("startedOn");
        String state = cluster.getString("state");
        String haState = cluster.getString("haState");
        System.out.println("集群ID is: " + id + "" + ", 集群启动时间 is: " + startedOn + ", RM状态" + state + ", RM HA状态" + haState);
    }
}
  • 运行结果

在这里插入图片描述

2、CheckRM线程作用

（1）CheckRM线程业务逻辑

  • 核心作用：获取Yarn集群内存与CPU资源信息，并根据获取到的资源信息判断是否可以继续提交任务
//检测Yarn集群资源,判断是否提交任务
Thread checkRMThread = new Thread(new CheckRM(), "checkRMThread");
logger.info("executor ckeckRM thread start...");
checkRMThread.start();

①向Yarn发送http请求

 String restUrl = "http://" + hostA + ":" + portA + restResourceUrl;

②线程循环检测获取Yarn资源信息

long totalMem = resource.getLong("totalMB");
long usedMem = resource.getLong("allocatedMB");
long totalCpu = resource.getLong("totalVirtualCores");
long usedCpu = resource.getLong("allocatedVirtualCores");
// 线程循环检测频率每30S一次
Thread.sleep(30000);

③判断Yarn资源是否充足进行相关处理

if ((totalMem * percent < usedMem) ||
    totalCpu * percent < usedCpu){
    logger.warn("yarn is busy, please waiting...");
    this.isReady = false;
}else {
    this.isReady = true;
}

（2）CheckRM线程源码

①properties配置文件

# RM
RM_ACTIVE = 10.148.15.6
RM_ACTIVE_HOST = 8088
RM_STANDBY = 127.0.0.1
RM_STANDBY_HOST = 8088
PERCENT=0.98
REST_RESOURCE_URL=/ws/v1/cluster/metrics

②配置类

public class Configuration {
    private static Logger logger = Logger.getLogger(Configuration.class);

    private static Properties properties = new Properties();
    private static Configuration configuration ;

    public static Configuration getConfiguration(){
        if (configuration == null){
            synchronized (Configuration.class){
                if (configuration == null){
                    configuration = new Configuration();
                }
            }
        }
        return configuration;
    }

    public String get(String key){
        return (String)properties.get(key);
    }
    private Configuration(){
        String filePath = System.getProperty("user.dir") + "/conf/executor.properties";
        InputStream in = null;
        try {
            in = new BufferedInputStream(new FileInputStream(filePath));
            properties.load(in);
        } catch (FileNotFoundException e) {
            logger.error(e.toString());
        } catch (IOException e) {
            logger.error(e.toString());
        }
    }
}

③线程逻辑

public class CheckRM implements Runnable {
    private static Logger logger = Logger.getLogger(CheckRM.class);
    public static volatile boolean isReady = true;

    public void run() {
        logger.info("checkRM start...");
        String hostA = Configuration.getConfiguration().get("RM_ACTIVE");
        String portA = Configuration.getConfiguration().get("RM_ACTIVE_HOST");
        String hostS = Configuration.getConfiguration().get("RM_STANDBY");
        String portS = Configuration.getConfiguration().get("RM_STANDBY_HOST");
        double percent = Double.parseDouble(Configuration.getConfiguration().get("PERCENT"));
        logger.debug("RM host : " + hostA + ", port : " + portA
                + "; hostS : " + hostS + ", portS :" + portS);
        String restResourceUrl = Configuration.getConfiguration().get("REST_RESOURCE_URL");
        boolean isActive = true;
        String restUrl = "http://" + hostA + ":" + portA + restResourceUrl;
        while (true){
            try {
                logger.debug("restUrl is " + restUrl);
                JSONObject resource = JSON.parseObject(HttpUtil.sendGet(restUrl)).getJSONObject("clusterMetrics");
                logger.debug("yarn's status is : " + resource.toString());

                long totalMem = resource.getLong("totalMB");
                long usedMem = resource.getLong("allocatedMB");

                long totalCpu = resource.getLong("totalVirtualCores");
                long usedCpu = resource.getLong("allocatedVirtualCores");

                logger.debug("totalMem is " + totalMem + ", usedMem is " + usedMem
                        + "and totalCpu is " + totalCpu + ", usedCpu is " + usedCpu + " in YARN");
                if ((totalMem * percent < usedMem) ||
                        totalCpu * percent < usedCpu){
                    logger.warn("yarn is busy, please waiting...");
                    this.isReady = false;
                }else {
                    this.isReady = true;
                }
                logger.debug("Now YARN can schedule " + this.isReady);

            } catch (IOException e) {
                logger.error(e.getMessage() + ", changed", e);
                if (isActive){
                    restUrl = "http://" + hostS + ":" + portS + restResourceUrl;
                    isActive = false;
                }else {
                    restUrl = "http://" + hostA + ":" + portA + restResourceUrl;
                    isActive = true;
                }
            } catch (Exception e) {
                logger.error("check RM error ", e);
            }
            try {
                Thread.sleep(30000);
            } catch (InterruptedException e) {
                logger.error(e.getMessage());
            }
        }
    }

    public static void main(String[] args){
        PropertyConfigurator.configure(System.getProperty("user.dir")
                + "/conf/log4j.properties");
        CheckRM checkRM = new CheckRM();
        Thread thread = new Thread(checkRM, "CheckRMThread");
        thread.start();
    }
}
随缘清风殇
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【Nacos源码之配置管理 八】客户端怎么获取服务端集群列表
石臻臻的杂货铺(szzdzhp001)
09-05 1万+
前言 在前面第六篇文章中,我们介绍了配置管服务端模块的ServerListService类; 这个类作用是持有服务端集群列表信息,并且每隔一段时间就会去检查集群中的机器是否正常; ServerListService类获取集群列表方式是先获取本地文件配置,如果没有配置则检查是否配置了远程服务器配置列表;具体详细可以查看文章 【Nacos源码之配置管理 六】集群模式下服务器之间是如何互相感知的 ;...
获得kubernetes集群中节点的详细信息
支棱起来
10-30 5311
//得到节点列表 List<Node> listNode=client.nodes().list().getItems(); //根据节点名称得到节点对象 Node selectedNode = client.nodes().withName(nodeName).get(); String nodeName = selectedNode.getMetadata().getName()...
kubernetes监控--查看集群资源状态
devin_qiu的博客
10-31 1474
查看当前集群信息 # kubectl get nodes(只要在节点中部署kubelet，就带有工作节点的功能) NAME STATUS ROLES AGE VERSION k8s-master Ready control-plane,master 32h v1.22.3 k8s-node1 Ready <none> 32h v1.22.3 k8s-node2 ...
Linux 性能监控之CPU&内存&I/O监控Shell脚本1
weixin_30779691的博客
11-07 185
Linux 性能监控之CPU&内存&I/O监控Shell脚本1 by:授客 QQ：1033553122 #!/bin/bash # 获取要监控的本地服务器IP地址 IP=`ifconfig eth0 | grep "inet addr" | cut -f 2 -d ":" | cut -f 1 -d " "` echo "IP地址："$IP # ...
hadoop HA Federation yarn 架构 数据的采集
zhilinboke的博客
06-25 406
做大数据几个月以来，了解到一些基础知识，自己总结一下大数据不同框架在开发中扮演得角色： 从整体来看：大数据一个关于数据得故事，从数据收集、提取、清洗、筛选、存储（关系型数据库，文件）、数据得可视化这是整个流程，在每一个阶段都有相应得框架，组件帮助我们处理。 学习大数据不得不了解hadoop家族，spark家族 hadoop的核心是HDFS文件系统，MapReduce ......
大数据课程-Hadoop集群程序设计与开发-5.Yarn资源调度器_lk_edit.pptx
01-01
【Yarn资源调度器】是Hadoop大数据处理框架的核心组件之一，主要负责集群资源的管理和分配，确保高效、公平地运行各种计算任务。本课程详细介绍了Yarn的基本架构、工作机制、调度器及调度算法，以及如何进行实际操作...
宽带多媒体集群调度系统.pptx
10-20
3. 加密安全：提供空口数据加密，支持第三方加密接口，确保通信安全。 4. 互联互通：与模拟集群、数字窄带集群以及2G/3G公网无缝对接。 5. 强大的调度台软件：支持多组群分配和优先级管理，确保服务质量。 6. 大范围...
第三章 高速铁路供电监控系统调度中心系统_1213.doc
10-04
高速铁路供电监控系统调度中心系统的系统软件平台采用了 Windows 操作系统，并在此基础上配置了数据库管理系统、集群管理系统和备份系统，通过其提供的数据备份恢复、系统恢复、数据日志、故障处理等系统故障对策，...
我的j2ee成功之路第21章网上考试系统
11-23
《我的J2EE成功之路第21章：网上考试系统》是针对Java企业级开发的一份珍贵学习资源，尤其对于那些希望通过J2EE技术构建在线考试平台的学习者来说，这是一份不可多得的实践教程。J2EE，全称Java 2 Platform, ...
Yarn资源调度系统教程
07-19
【Yarn资源调度系统教程】 YARN（Yet Another Resource Negotiator），是Apache Hadoop项目中的一个核心组件，主要负责管理大数据处理平台上的计算资源。它作为Hadoop 2.x版本中的资源管理层，从MapReduce中分离...
Ambari Custom Service 4 - 获取集群参数值
c123m的专栏
03-31 2449
自定义服务python脚本依赖的模块是resource_management，该模块的位置在/usr/lib/ambari-agent/lib/resource_management，ambari的自定义服务程序环境就是依赖的这个目录。 如何获取集群内的一些参数值 获取ambari-server所在的主机，即主节点 from resource_management.libraries.sc...
YARN监控管理与资源管理
qq_46439199的博客
11-14 1857
YARN监控管理与资源管理
Yarn集群架构和工作原理
最新发布
qq_45450889的博客
07-03 1072
它允许多个应用程序同时运行，通过动态地分配和回收资源来满足不同应用程序的需求，并提供一致的任务监控和管理功能。应用程序获取资源：一旦RM分配了资源，应用程序的AM将与NM通信，并请求启动容器。Container：Container是Yarn中的资源单位，表示在集群节点上分配给应用程序的一组资源，包括CPU、内存和网络等。容器中运行任务：一旦容器分配成功，应用程序的AM将向NM发送任务的代码和其他必要的信息。提交的应用程序包括代码和所需资源的描述，如应用程序类型、需要资源的数量和优先级等。
Go语言：谷歌的go-redis模块面向redis cluster集群的客户端参数配置
pengpengzhou的博客
04-16 4896
版权所有，请勿转载。 谷歌的go-redis模块对redis cluster集群提供了支持，通过：func NewClusterClient(opt *ClusterOptions) *ClusterClient函数可以得到一个面向redis集群的客户端，后续使用基本等同于非集群客户端redis.Client。参数配置详见如下示例： client := redis.NewClusterCl...
获取集群节点信息
C_time的博客
09-05 1685
要求获取出集群中每一台节点的如下信息： 主机名: ip: port: 节点容量: 很简单 就将FileSystem类型转换为DistributedFileSystem 一切就可以获得了 用户设置的话在idea加这句-DHADOOP_USER_NAME=root 或者在代码中加入System.setProperty("HADOOP_USER_NAME","root"); /** * 作者:Shis...
从服务器获取数据
hanpengchao的博客
05-16 940
1.实例化一个URL对象 2.获取HttpURLConnection对象（初学者建议） 3.设置请求连接属性 4.设置响应码，判断连接结果码 5.读取数据流并解析 GET获取数据 POST提交数据
k8s部署-32-k8s的集群资源管理cpu、memory（上）
ouyangzhenxin的博客
04-10 2404
 我们了解了namespace的隔离性，那么cpu和内存到底能不能控制呢？如何在k8s中进行控制呢？每一个pod的内存、cpu、磁盘是如何控制的呢？ 可控资源首先我们要知道k8s能对哪些资源进行控制，如下图：如何来分配这些资源呢，我们需要提前规划好一个值吧，在k8s中主要关注两个值，一个是requests，一个是limit；requests：希望被分配到的额度 limits：最大被分配到的额度大概心里有个数了，接下来实操一波。验证资源划分1、先查看当前集群有多少资源；[root@node1
【Ambari】设置yarn队列资源为绝对值[memory=10240,vcores=12,yarn.io/gpu=4]
人生所向，皆是美好
12-17 4164
目录1.介绍2 API方式修改资源队列步骤2.1 获取所有配置的tag和version2.2 获取指定文件的指定版本的配置2.3 修改配置2.4 刷新配置2.5 重启相应组件3 相关问题解释 1.介绍 hadoop 3.0以后支持以绝对值方式指定yarn资源队列memory vcores及gpu cores的大小，2.x版本只能指定每个队列使用内存资源的百分比。 2 API方式修改资源队列步骤 ...
ambari安装hadoop集群问题（0 status code received on DELETE method for API: /api/v1/clusters/集群名）解决
Np2078421576的博客
03-15 3667
2022-03-13 22:10:04,090 ERROR [ambari-client-thread-208] ContainerResponse:423 - The exception contained within MappableContainerException could not be mapped to a response, re-throwing to the HTTP container org.eclipse.jetty.io.EofException: Early EOF ..
Spark架构设计与编程入门详解（第3章）
《Spark实战高手之路-第3章Spark架构设计与编程（1）》是王家林编著的一本深入讲解Spark技术的专业书籍，隶属于Spark亚太研究院系列丛书中的一部分。本书旨在帮助读者从零开始，系统地掌握Spark这一在云计算和大数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

随缘清风殇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值