121.Yarn资源池的动态配置

最新推荐文章于 2023-08-16 18:10:44 发布
最新推荐文章于 2023-08-16 18:10:44 发布
阅读量629 收藏
点赞数
分类专栏： Hadoop 文章标签： apache json java
@大勇若怯任卷舒
本文链接：https://blog.csdn.net/m0_47454596/article/details/126836170
版权

121.1 获取CM的API接口

  • API的版本为v19
  • 要用到的API接口说明
http://<cm_server>:7180/clusters
# 第一个接口用于获取集群的信息，如集群的名称，以供2、3接口使用
http://<cm_server>:7180/api/v19/clusters/{clusterName}/services/{serviceName}/config
# 第二个接口用于设置Yarn的资源池，接口中的{serviceName}修改为yarn
http://<cm_server>:7180/api/v19/clusters/{clusterName}/commands/poolsRefresh
# 第三个接口用于刷新Yarn的资源池

121.2 Java

  • pom.xml内容
<dependencies>
    <dependency>
        <groupId>org.apache.httpcomponents</groupId>
        <artifactId>httpclient</artifactId>
        <version>4.5.4</version>
    </dependency>
    <dependency>
        <groupId>net.sf.json-lib</groupId>
        <artifactId>json-lib</artifactId>
        <version>2.4</version>
        <classifier>jdk15</classifier>
    </dependency>
</dependencies>
  • HttpClient方式调用API接口
package com.cloudera.utils;

import org.apache.commons.lang.StringEscapeUtils;
import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.auth.AuthScope;
import org.apache.http.auth.UsernamePasswordCredentials;
import org.apache.http.client.CredentialsProvider;
import org.apache.http.client.methods.HttpDelete;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.client.methods.HttpPut;
import org.apache.http.entity.StringEntity;
import org.apache.http.impl.client.BasicCredentialsProvider;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import java.io.IOException;
import java.net.URI;
import java.util.Map;

public class HttpUtils {

    /**
     * Get方式用户名和密码认证
     * @param url
     * @param headers
     * @param username
     * @param password
     * @return
     */
    public static String getAccessByAuth(String url, Map<String, String> headers, String username, String password) {
        String result = null;

        URI uri = URI.create(url);
        CredentialsProvider credsProvider = new BasicCredentialsProvider();

        credsProvider.setCredentials(new AuthScope(uri.getHost(), uri.getPort()),
                new UsernamePasswordCredentials(username, password));

        CloseableHttpClient httpClient = HttpClients.custom().setDefaultCredentialsProvider(credsProvider)
                .build();

        HttpGet httpGet = new HttpGet(uri);
        if(headers != null && headers.size() > 0){
            headers.forEach((K,V)->httpGet.addHeader(K,V));
        }

        HttpResponse response = null;
        try {
            response = httpClient.execute(httpGet);
            HttpEntity resultEntity = response.getEntity();
            result = EntityUtils.toString(resultEntity);

            return result;
        } catch (IOException e) {
            e.printStackTrace();
        }


        return null;
    }

    /**
     * Post方式用户名和密码认证
     * @param url
     * @param headers
     * @param data
     * @param username
     * @param password
     * @return
     */
    public static  String postAccessByAuth(String url, Map<String, String> headers, String data, String username, String password) {
        String result = null;

        URI uri = URI.create(url);
        CredentialsProvider credsProvider = new BasicCredentialsProvider();

        credsProvider.setCredentials(new AuthScope(uri.getHost(), uri.getPort()),
                new UsernamePasswordCredentials(username, password));

        CloseableHttpClient httpClient = HttpClients.custom()
                .setDefaultCredentialsProvider(credsProvider)
                .build();

        HttpPost post = new HttpPost(uri);

        if(headers != null && headers.size() > 0){
            headers.forEach((K,V)->post.addHeader(K,V));
        }

        try {
            if(data != null) {
                StringEntity entity = new StringEntity(data);
                entity.setContentEncoding("UTF-8");
                entity.setContentType("application/json");
                post.setEntity(entity);
            }

            HttpResponse response = httpClient.execute(post);
            HttpEntity resultEntity = response.getEntity();
            result = EntityUtils.toString(resultEntity);

            return result;
        } catch (Exception e) {
            e.printStackTrace();
        }

        return result;
    }

    /**
     * Put方式用户名和密码认证方式
     * @param url
     * @param headers
     * @param data
     * @param username
     * @param password
     * @return
     */
    public static  String putAccessByAuth(String url, Map<String, String> headers, String data, String username, String password) {
        String result = null;

        URI uri = URI.create(url);
        CredentialsProvider credsProvider = new BasicCredentialsProvider();

        credsProvider.setCredentials(new AuthScope(uri.getHost(), uri.getPort()),
                new UsernamePasswordCredentials(username, password));

        CloseableHttpClient httpClient = HttpClients.custom()
                .setDefaultCredentialsProvider(credsProvider)
                .build();

        HttpPut put = new HttpPut(uri);

        if(headers != null && headers.size() > 0){
            headers.forEach((K,V)->put.addHeader(K,V));
        }

        try {
            if(data != null) {
                StringEntity entity = new StringEntity(data);
                entity.setContentEncoding("UTF-8");
                entity.setContentType("application/json");
                put.setEntity(entity);
            }

            HttpResponse response = httpClient.execute(put);
            HttpEntity resultEntity = response.getEntity();
            result = EntityUtils.toString(resultEntity);

            return result;
        } catch (Exception e) {
            e.printStackTrace();
        }

        return result;
    }

}
  • 调用API接口设置资源池
package com.cloudera;

import com.cloudera.api.model.ApiConfig;
import com.cloudera.utils.HttpUtils;
import net.sf.json.JSONArray;
import net.sf.json.JSONObject;
import org.apache.commons.lang.StringEscapeUtils;

import java.util.HashMap;

public class RestApiConfPool {

    private static String REQ_CLUSTER_URL = "http://cdh01.fayson.com:7180/api/v19/clusters";
    private static String REQ_SETPOOL_URL = "http://cdh01.fayson.com:7180/api/v19/clusters/cluster/services/yarn/config";
    private static String REQ_FRESHPOOL_URL = "http://cdh01.fayson.com:7180/api/v19/clusters/cluster/commands/poolsRefresh";
    private static String USERNAME = "admin";
    private static String PASSWORD = "admin";

    public static void main(String[] args) {

        HashMap<String, String> headers = new HashMap<>();
        headers.put("Content-Type", "application/json");
        headers.put("Accept", "application/json");

        //获取CM管理的Cluster集群名称
        String result = HttpUtils.getAccessByAuth(REQ_CLUSTER_URL, headers, USERNAME, PASSWORD);
        System.out.println("获取集群信息：" + result);

        //定义资源池配置的JSON配置
        JSONObject requestJson = new JSONObject();
        JSONArray jsonArray = new JSONArray();
        JSONObject yarnjson = new JSONObject();
        String pool_conf = "{\\\"defaultFairSharePreemptionThreshold\\\":null,\\\"defaultFairSharePreemptionTimeout\\\":null,\\\"defaultMinSharePreemptionTimeout\\\":null,\\\"defaultQueueSchedulingPolicy\\\":\\\"fair\\\",\\\"queueMaxAMShareDefault\\\":null,\\\"queueMaxAppsDefault\\\":null,\\\"queuePlacementRules\\\":[{\\\"create\\\":true,\\\"name\\\":\\\"specified\\\",\\\"queue\\\":null,\\\"rules\\\":null},{\\\"create\\\":null,\\\"name\\\":\\\"nestedUserQueue\\\",\\\"queue\\\":null,\\\"rules\\\":[{\\\"create\\\":true,\\\"name\\\":\\\"default\\\",\\\"queue\\\":\\\"users\\\",\\\"rules\\\":null}]},{\\\"create\\\":null,\\\"name\\\":\\\"default\\\",\\\"queue\\\":null,\\\"rules\\\":null}],\\\"queues\\\":[{\\\"aclAdministerApps\\\":\\\"*\\\",\\\"aclSubmitApps\\\":\\\"*\\\",\\\"allowPreemptionFrom\\\":null,\\\"fairSharePreemptionThreshold\\\":null,\\\"fairSharePreemptionTimeout\\\":null,\\\"minSharePreemptionTimeout\\\":null,\\\"name\\\":\\\"root\\\",\\\"queues\\\":[{\\\"aclAdministerApps\\\":null,\\\"aclSubmitApps\\\":null,\\\"allowPreemptionFrom\\\":null,\\\"fairSharePreemptionThreshold\\\":null,\\\"fairSharePreemptionTimeout\\\":null,\\\"minSharePreemptionTimeout\\\":null,\\\"name\\\":\\\"default\\\",\\\"queues\\\":[],\\\"schedulablePropertiesList\\\":[{\\\"impalaDefaultQueryMemLimit\\\":null,\\\"impalaDefaultQueryOptions\\\":null,\\\"impalaMaxMemory\\\":null,\\\"impalaMaxQueuedQueries\\\":null,\\\"impalaMaxRunningQueries\\\":null,\\\"impalaQueueTimeout\\\":null,\\\"maxAMShare\\\":null,\\\"maxChildResources\\\":null,\\\"maxResources\\\":null,\\\"maxRunningApps\\\":null,\\\"minResources\\\":null,\\\"scheduleName\\\":\\\"default\\\",\\\"weight\\\":1.0}],\\\"schedulingPolicy\\\":\\\"drf\\\",\\\"type\\\":null},{\\\"aclAdministerApps\\\":null,\\\"aclSubmitApps\\\":null,\\\"allowPreemptionFrom\\\":null,\\\"fairSharePreemptionThreshold\\\":null,\\\"fairSharePreemptionTimeout\\\":null,\\\"minSharePreemptionTimeout\\\":null,\\\"name\\\":\\\"users\\\",\\\"queues\\\":[],\\\"schedulablePropertiesList\\\":[{\\\"impalaDefaultQueryMemLimit\\\":null,\\\"impalaDefaultQueryOptions\\\":null,\\\"impalaMaxMemory\\\":null,\\\"impalaMaxQueuedQueries\\\":null,\\\"impalaMaxRunningQueries\\\":null,\\\"impalaQueueTimeout\\\":null,\\\"maxAMShare\\\":null,\\\"maxChildResources\\\":null,\\\"maxResources\\\":null,\\\"maxRunningApps\\\":null,\\\"minResources\\\":null,\\\"scheduleName\\\":\\\"default\\\",\\\"weight\\\":2.0}],\\\"schedulingPolicy\\\":\\\"drf\\\",\\\"type\\\":\\\"parent\\\"}],\\\"schedulablePropertiesList\\\":[{\\\"impalaDefaultQueryMemLimit\\\":null,\\\"impalaDefaultQueryOptions\\\":null,\\\"impalaMaxMemory\\\":null,\\\"impalaMaxQueuedQueries\\\":null,\\\"impalaMaxRunningQueries\\\":null,\\\"impalaQueueTimeout\\\":null,\\\"maxAMShare\\\":null,\\\"maxChildResources\\\":null,\\\"maxResources\\\":null,\\\"maxRunningApps\\\":null,\\\"minResources\\\":null,\\\"scheduleName\\\":\\\"default\\\",\\\"weight\\\":1.0}],\\\"schedulingPolicy\\\":\\\"drf\\\",\\\"type\\\":null}],\\\"userMaxAppsDefault\\\":null,\\\"users\\\":[]}";
        yarnjson.put("name", "yarn_fs_scheduled_allocations");
        yarnjson.put("value", pool_conf);
        jsonArray.add(yarnjson);
        requestJson.put("items", jsonArray);
        //注意使用PUT提交，否则会请求失败
        result = HttpUtils.putAccessByAuth(REQ_SETPOOL_URL, headers, StringEscapeUtils.unescapeJava(requestJson.toString()), USERNAME, PASSWORD);

        System.out.println("动态设置Yarn资源池："+ result);

        //刷新资源池
        result = HttpUtils.postAccessByAuth(REQ_FRESHPOOL_URL, headers, null, USERNAME, PASSWORD);

        System.out.println("刷新资源池配置：" + result);
    }
}

121.3 演示

  • 前Yarn的配置
  • 运行
  • 查看资源池配置

大数据视频推荐：
CSDN
人工智能算法竞赛实战
AIops智能运维机器学习算法实战
ELK7 stack开发运维实战
PySpark机器学习从入门到精通
AIOps智能运维实战
大数据语音推荐：
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通

大勇任卷舒
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Ambari WebUI-集群管理操作使用说明
杜海的博客
09-14 1068
【总览】【集群操作】【配置文件下载】【图表操作】【图表时间配置】【集群总体监控图表】Memory Usage：整个集群的内存使用情况，包括 cached，swapped，used，和shared。Network usage：整个就群的网络流量，包括上行和下行；CPU Usage：集群的CPU使用情况；Cluster Load：集群整体加载信息，包括节点数目，总CPU个数，正在运行的进程【HDFS层面】左图：整个集群的磁盘使用情况。右图：DFS的使用情况；non DFS的使用情况；
Ambari spark 开启动态资源分配
weixin_38751513的博客
11-20 769
这几天研究资源分配的时候踩了不少坑,先做以下总结: 1.修改每台NodeManager上的yarn-site.xml： ##修改 <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle,spark_shuffle</value> <...
CDH中yarn的动态资源池的相关配置
ChengYanan的博客
06-11 761
CDH Yarn资源队列划分管理 场景：根据不同项目或不同用户，对yarn资源队列进行划分，达到资源管控，任务管控的目的 CDH版本：5.x 配置： 1 yarn资源队列参数设置： (1)yarn.scheduler.fair.user-as-default-queue false 解释：当设置为 true 时，如果未指定池名称，Fair Scheduler 将会使用用户名作为默认...
Java集成Yarn并操作集群的Yarn资源
qq_37928228的博客
06-05 1038
Java集成Yarn并操作集群的Yarn资源
spark.07 yarn 开启动态资源分配
笔生花的博客
08-16 507
将spark安装包中的spark--yarn-shuffle.jar 放在集群中每个节点的classpath中。不需要指定并发，只需要指定内存， 程序在运行后会动态调节并发数量，我们只需要设置一个上线即可。yarn-site.xml 增加。准备shuffer jar。
YARN动态资源池配置
08-14
YARN动态资源池配置，YARN动态资源池配置，YARN动态资源池配置
CDH集群YARN动态资源池的规划与管理.docx
最新发布
10-11
资源池配置包括资源池的名称、权重、最小和最大CPU及内存设置，以及应用程序的最大数量。权重决定了资源池相对其他池的资源获取比例。最小和最大资源限制确保了资源池的稳定性和效率。同时，设置“提交”和“管理”...
0439-Hive启用Sentry后如何限制用户提交Yarn资源池
01-07
温馨提示：如果使用电脑...通过放置策略可以自动的将用户分的作业分配到对应的资源池，如果用户手动指定资源池则也可以正常提交作业到指定的资源池，因此需要结合Yarn队列的ACL控制，可以防止用户随意指定资源池问题。
huaweicloudDocs#mrs#配置资源池的队列容量策略1
07-25
配置资源池的队列容量策略操作场景添加资源池后，需要为YARN任务队列配置在此资源池中可使用资源的容量策略，队列中的任务才可以正常在这个资源池中执行。已完成IAM
airflow-yarn-executor-plugin:利用YARN执行任务的实验气流执行器-进行中
04-27
这个插件的主要目标是使Airflow任务能够透明地在YARN集群上运行，从而利用YARN的资源池，包括CPU、内存和其他硬件资源。这通常涉及到以下几个关键点： 1. **任务容器化**：Airflow任务需被包装到Docker容器中，以...
Hadoop生态圈（四十）- YARN Resource 资源配置
程序园@大Null
02-14 2671
目录前言1. YARN Resource资源配置2. 资源配置参数3. YARN资源模型3.1 Resource Manager3.2 Node Manager4. MapReduce 使用 Resource 前言 部分内容摘自尚硅谷、黑马等等培训资料 1. YARN Resource资源配置   YARN 支持可扩展的资源模型。默认情况下，YARN会跟踪所有节点，应用程序和队列的CPU和内存，但资源定义可以扩展为包含任意 “countable” 资源。可数资源是在容器运行时消耗的资源，但之后会释放，CP
YARN调度相关整理
枫轩缘
02-16 2683
理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。 一、调度器的选择 在Yarn中
10.Yarn概述
m0_58420188的博客
04-27 972
这一章好无聊啊
Yarn的配置
navy专栏
02-24 1万+
可以通过配置以下Yarn的信息，另外运行ResourceManager守护进程和NodeManager守护进程来进行一个伪分布的MapReduce作业。1、修改hadoop中etc/hadoop目录下mapred-site.xml文件 ，在&lt;configuration&gt;标签中添加以下配置：&lt;property&gt;       &lt;name&gt;mapreduce.fram...
【Yarn】hadoop的yarn资源队列
热门推荐
九师兄
09-12 2万+
Capacity Schedule调度器以队列为单位划分资源。简单通俗点来说，就是一个个队列有独立的资源，队列的结构和资源是可以进行配置的，如下图：default队列占30%资源，analyst和dev分别占40%和30%资源；类似的，analyst和dev各有两个子队列，子队列在父队列的基础上再分配资源。队列以分层方式组织资源,设计了多层级别的资源限制条件以更好的让多用户共享一个Hadoop集群，比如队列资源限制、用户资源限制、用户应用程序数目限制。
资源调度_CDH6.0.x Yarn 调度资源指南
weixin_42355665的博客
01-04 454
Yarn 工作架构最近随着集群大家开始频繁使用集群，资源调度的问题越发的凸显出来。需要更加深入的了解 yarn 资源调度的原理，以及到底在背后做了一些什么事情。来看一下下面这张图。yarn 里面有两个大的角色，这个也很容易在 yarn 里面的配置看到。一个是 Resource Manager 类似于 Master 角色负责任务分配，他会往 Node Manager 分配一个 App Master...
npm或yarn安装http-server成功后却运行失败、报错
Tuo_Gu的博客
03-27 3526
首先安装http-serve 打开cmder输入命令安装会很便利。 下面三行分别是对应的工具安装的命令行，任选一种如果是默认的就是第一行，不用指定目录，随便哪个当前目录都行： npm install http-server -g pm i http-server yarn -g http-server 复制代码 我是输入第一条回车 以上选好命令运行安装 显示安装完成后，查看一下版本号，输入下面命令回车 http-server --version 复制代码 这一步可以发现报错 这里找不到c:\Users
Yarn 的 Tool 接口案例
weixin_44966780的博客
12-05 227
Yarn 的 Tool 接口案例 0）回顾 hadoop jar wc.jar com.xiaoqiu.mapreduce.wordcount.WordCountDriver /input /output 期望可以动态传参，结果报错，误认为是第一个输入参数。 hadoop jar wc.jar com.xiaoqiu.mapreduce.wordcount.WordCountDriver -Dmapreduce.job.queuename=root.test /input /output 1）需求：自己写的
YARN资源调度器
u011519828的专栏
10-18 381
这类事件总共有6个，分别是NODE_ADDED（添加一个计算节点）、NODE_REMOVED（移除一个计算结点）、APPLICATION_ADDED（添加一个应用程序）、APPLICATION_REMOVED（移除一个应用程序）、CONTAINER_EXPIER（回收超时的Container）、NODE_UPDATE（更新节点）。集群资源是非常有限的，在多用户、多任务环境下，如何保证在有限资源或业务约束下有序调度和执行任务，需要有一个协调者，这就是YARN资源调度器。
yarn队列资源管理
08-23
队列可以理解为资源池，不同队列可以拥有不同的资源配额和调度策略。 Yarn 中的队列分为两种类型：根队列和子队列。根队列是最高级别的队列，而子队列则是根队列的子级。通过对队列进行层次化管理，可以实现资源的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值