如何设置CDH的资源池

脸ル粉嘟嘟

于 2023-06-17 00:56:32 发布

阅读量339

点赞数

分类专栏： ▼ BigData ——hive 文章标签： hive 大数据 hadoop

本文为IT晓白博主原创文章，欢迎大家转载，相互学习请附上博文链接！

本文链接：https://blog.csdn.net/qq_38617531/article/details/131255747

版权

▼ BigData 同时被 2 个专栏收录

49 篇文章 2 订阅

订阅专栏

——hive

14 篇文章 0 订阅

订阅专栏

一、将作业类型添加到hive的白名单中

在这里插入图片描述

二、在yarn中创建资源池

  首先添加父资源池bdata，然后在创建子资源池job

在这里插入图片描述

三、在资源池中添加用户

在这里插入图片描述

四、提交作业测试

在这里插入图片描述

五、常碰到的资源池没有配置导致的错误

1、不能修改mapred.job.queue.name

org.apache.hive.service.cli.HiveSQLException: Error while processing statement: Cannot modify mapred.job.queue.name at runtime. It is not in list of params that are allowed to be modified at runtime

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

脸ル粉嘟嘟

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
如何设置CDH的资源池

【代码】如何设置CDH的资源池。
复制链接

扫一扫

专栏目录

[大数据] CDH平台Yarn动态资源池的配置与Oozie调度使用

小黑_BUPT的博客

11-01

3483

用户会根据自己的作业需求来区分集群资源的分配情况我的需求是Oozie周期调度多Spark作业，需要动态使用Yarn资源 CDH版本：5.6.0 关闭允许未声明的池 yarn.scheduler.fair.allow-undeclared-pools 搜索yarn.scheduler.fair.allow-undeclared-pools，默认为true，需要配置成false，设置为 tr...

CDH5.12.0资源下载

08-18

CDH5.12.0

参与评论您还未登录，请先登录后发表或查看评论

CDH动态资源池配置

叁木大数据

04-26

2115

动态资源池配置 Yarn默认有三种调度器——FIFO、Capacity以及Fair Scheduler，CDH推荐使用Fair Scheduler。通过动态资源池的Web UI，我们可以十分方便的配置Fair Scheduler。 1）点击群集→动态资源池配置进入动态资源池的配置界面 2）动态资源池配置——资源池动态资源池采用树形结构，与Fair Scheduler的队列保持一致，任务只能提交...

CDH 动态资源池

qq_41301707的博客

02-13

850

CDH 动态资源池 CDH 的动态资源池类似于 Yarn 中的队列概念差不多现在有这样一个需求，开发环境中，就只有一套 CDH 的集群，不同的用户组使用不同的硬件资源，这时候可以通过动态资源池来实现这个功能。需求：一个 CDH 集群里面有开发人员和 BI 人员，开发人员可以使用 Yarn 中的百分之六十资源，BI 人员可以使用 CDH 中的百分之四十资源。 ...

CDH YARN资源池配置

weixin_34234823的博客

07-10

538

1）关闭未声明资源池的自动生成。进入YARN面板，选择配置->服务范围->资源管理->yarn.scheduler.fair.allow-undeclared-pools,默认选项是开启的，需要关闭，否则如果用户指定一个尚未声明的资源池时，YARN将为自动生成一个相对于的资源池。我们需要关闭该选项，修改之后点击保存更改，重启YARN服务生效。 2）关闭"使...

spark配置速查

dinl_vin的博客

09-02

894

配置项五花八门?那就整理一下! * CPU相关 1. spark.cores.max 集群分配给spark的最大CPU数 2. spark.executor.cores Executor内划分的CPU- Core，一般是2~4个比较合适 3.spark.task.cpus 执行每个Task的CPU数量，一般都是1不用动 4. spark.default.parallelism 参数说明：该参数用于设置每个stage的默认task数量。这个参数极为重要，如果不设置可能会直接影响你的Spark作业性能。参数

04-14

04-14

04-14

04-14

08-14

YARN动态资源池配置，YARN动态资源池配置，YARN动态资源池配置

CDH5.14 Impala的静态资源和动态资源设置

北京小辉

10-30

4869

目录 1、静态资源和动态资源说明 2、静态资源设置 3、使用准入控制 4、设置每个查询的内存限制 5、创建动态资源池 6、关于放置规则 7、设置资源池上的权限控制 1、静态资源和动态资源说明官网 https://www.cloudera.com/documentation/enterprise/5-14-x/topics/impala_howto_rm.html 名称说明 ...

大数据之CDH数仓(19) | 测试之集群资源管理

Knight

10-14

857

CM提供了众多的资源KPI指标，以及丰富的可视化的资源分配、运维和监控界面。运维人员能在单一管理界面配置、监控和导出实时的系统集群资源状态、管理规则以及分用户、任务的使用状况。 CDH 以及 CM 能同时满足动态以及静态的资源管理。动态资源池可以提供基于 YARN 的动态资源隔离能力，静态资源池可以提供基于 Linux 容器技术的静态资源隔离能力。动态资源池 Yarn默认有三种调度器——FIFO、Capacity以及Fair Scheduler，CDH推荐使用Fair Scheduler。通过动态资源池

CM&CDH大数据运维官方课程

08-12

本课程主要讲解在实际项目开发中，企业构建大数据平台的方案及实战。详细阐述企业级大数据平台的架构设计、机器选型、集群规划、技术选型、资源规划等技术方案。实战演练基于Cloudera Manager安装部署、监控管理、运营维护大数据平台的各个服务组件。从理论经验到实战演练，从设计思想到流程实施。

CDH中yarn的动态资源池的相关配置

ChengYanan的博客

06-11

752

CDH Yarn资源队列划分管理场景：根据不同项目或不同用户，对yarn资源队列进行划分，达到资源管控，任务管控的目的 CDH版本：5.x 配置： 1 yarn资源队列参数设置： (1)yarn.scheduler.fair.user-as-default-queue false 解释：当设置为 true 时，如果未指定池名称，Fair Scheduler 将会使用用户名作为默认...

CDH修改静态资源池配置,NodeManager重启失败问题

hcq_lxq的博客

11-30

1584

问题描述：修改静态资源池配置的时候，重启整个CM之后，突然发现一个YARN中的NodeManager重启失败，问题NodeManager服务不能重启也不能停止。通过链接发现资源配置有一台还是以前的配置没有变化; http://hadoopip:8088/cluster/nodes 解决方案： 1、重启有问题的agent， systemctl restart cloudera-scm-agent 2、在元数据库的CM用户下查询roles，查找role_type不是RUNNING的数据，更新这条数...

CDH数仓项目(四) —— 集群性能测试/资源管理/清理CDH集群

不以物喜的博客

02-02

1865

CDH数仓项目，进行集群性能测试、资源备份、资源管理、清理CDH集群

CDH动态资源池配置(2)

wflh323的专栏

03-06

802

队列资源任务限制 1.创建资源池，限制任务最大资源，正在运行的最大任务数 2.用户限制，限制用户一次提交任务数动态资源计划规则 1. 创建计划规则 default day 排列计划模式 ...

CDH Manager API 操作Yarn资源池

shirukai

12-22

3508

CDH Manager API 操作Yarn 资源池版本说明：CDH 5.11.0 API版本：v16 1 API 权限认证在使用REST API 访问 CDH Manager 提供的相关接口的时候，需要进行权限认证。认证的类型是 Basic Auth。在java编程中将如下所示生成authorization，然后将该认证信息添加到请求头信息中即可。 private static Stri...

cdh集群各组件部署资源规划

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交