CDH动态资源池配置(1)

最新推荐文章于 2023-02-19 16:12:50 发布
最新推荐文章于 2023-02-19 16:12:50 发布
阅读量2.8k 收藏 4
点赞数 2
分类专栏： 个人总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wflh323/article/details/88196685
版权
本文介绍了CDH集群中动态资源池的配置步骤，包括启用队列用户限制，开启HDFS和ResourceManager的ACL，以及针对不同用户的权限设置。在配置完成后，由于权限问题，Yarn 8088界面的任务访问需额外设置，如在HDFS配置文件中添加'hadoop.http.staticuser.user=yarn'或在开启ACL时加入特定用户。
摘要由CSDN通过智能技术生成

启用队列用户限制

  1.hdfs开启权限

2.resourcemanager 开启acl,配置管理用户yarn

3.动态资源池配置

    root对列配置

    

子队列配置

 

最低0.47元/天 解锁文章
kevin_wf
关注
专栏目录
CDH6.3.2解决yarn historyServer页面为空，登录用户为Logged in as: dr.who的问题
nhm_lxy的专栏
04-12 330
Logged in as: dr.who，yarn,jobHistory,CDH6.3.2
【CDH部署】全网最简单CDH6.2.0环境部署
01-07
下载链接 官方下载链接: https://archive.cloudera.com/cdh6/6.2.0/parcels/ 百度网盘下载链接: https://pan.baidu.com/s/1Dm5Elf9uQqn14BUbgU3AFQ 提取码: mws3 主机规划 sparkproject1 manager 8G 50GB sparkproject2 agent 4G 50GB sparkproject3 agent 4G 50GB 1. 设置IP, hostname, hosts, ssh免密登录 可参考Hadoop中linux基本配置那篇文章 【Hadoop部署】Hadoop环境部署1
一个根据所给资源自动配置CDH中Hadoop等参数的工具
曾经是个DBA
09-21 527
Python的名字为：cdh_auto_configuration.py，完整内容如下： #!/usr/bin/env python import optparse from pprint import pprint import logging import sys import math import ast ''' Reserved for OS + DN + NM, Map:
CDH动态资源池配置
叁木大数据
04-26 2182
动态资源池配置 Yarn默认有三种调度器——FIFO、Capacity以及Fair Scheduler，CDH推荐使用Fair Scheduler。通过动态资源池的Web UI，我们可以十分方便的配置Fair Scheduler。 1）点击群集→动态资源池配置进入动态资源池的配置界面 2）动态资源池配置——资源池 动态资源池采用树形结构，与Fair Scheduler的队列保持一致，任务只能提交...
Hadoop dr.who问题
Sin_Geek成长の迹
11-14 8563
背景 昨天在生产环境偶然发现，yarn的一些日志访问不了，报如下错误 User [dr.who] is not authorized to view the logs for application；然后发现hdfs管理界面有些文件目录页进不去，登录即右上角为logged in as dr.who。然后到网上查找资料。 原因 Resource Manager UI的默认用户dr.who权限不正确 ...
[大数据] CDH平台Yarn动态资源池的配置与Oozie调度使用
小黑_BUPT的博客
11-01 3520
用户会根据自己的作业需求来区分集群资源的分配情况 我的需求是Oozie周期调度多Spark作业，需要动态使用Yarn资源 CDH版本：5.6.0 关闭允许未声明的池 yarn.scheduler.fair.allow-undeclared-pools 搜索yarn.scheduler.fair.allow-undeclared-pools，默认为true，需要配置成false，设置为 tr...
CDH集群YARN动态资源池的规划与管理.docx
最新发布
10-11
资源池配置包括资源池的名称、权重、最小和最大CPU及内存设置，以及应用程序的最大数量。权重决定了资源池相对其他池的资源获取比例。最小和最大资源限制确保了资源池的稳定性和效率。同时，设置“提交”和“管理”...
YARN动态资源池使用配置
热门推荐
小码农的专栏
05-22 1万+
动态资源池是用来做资源配置和调度策略管理，动态资源池中可以运行YARN应用和Impala查询任务。动态资源池允许用户在运行YARN应用或Impala查询任务的时候指定特定的池并调度池中可用的资源。一个典型的应用场景就是当我们通过Oozie调度Pig任务的时候，如果我们同时提交大量的Oozie任务，Oozie任务在启动launch的时候是需要占用资源的，可能就会导致资源占满而使后续的Pig任务无法执
121.Yarn资源池的动态配置
大勇若怯任卷舒
09-13 650
【代码】121.Yarn资源池的动态配置。
CDH使用中的problem
DCHAO的博客
02-09 671
CDH使用中的problem
hadoop报错HdfsError: Permission denied: user=dr.who, access=WRITE, inode=“/“:root:supergroup:drwxr-x
有勇气的牛排博客
02-19 358
修改core-site.xml，配置为当前用户。
Hadoop参数汇总
01-04 1875
Hadoop参数汇总 @(hadoop)[配置] linux参数 以下参数最好优化一下： 文件描述符ulimit -n 用户最大进程 nproc （hbase需要 hbse book） 关闭swap分区 设置合理的预读取缓冲区 Linux的内核的IO调度器 JVM参数 JVM方面的优化项Hadoop Performance Tuning Guide Hadoop参数大全 适用
CDH中yarn的动态资源池的相关配置
weixin_43255026的博客
01-24 3505
CDH Yarn资源队列划分管理 场景：根据不同项目或不同用户，对yarn资源队列进行划分，达到资源管控，任务管控的目的 CDH版本：5.15.2 配置： 1 yarn资源队列参数设置： (1)yarn.scheduler.fair.user-as-default-queue false 解释：当设置为 true 时，如果未指定池名称，Fair Scheduler 将会使用用户名作为默认的池名...
CDH环境中NodeManager无法启动，ResourceManager无法启动
weixin_42578941的博客
05-05 5615
CDH环境中NodeManager无法启动，ResourceManager无法启动
[解决] User [dr.who] is not authorized to view the logs for application
数据之路
03-02 8971
User [dr.who] is not authorized to view the logs for application 原因 Resource Manager UI的默认用户dr.who权限不正确
【Hadoop完全分布式】监控页面遇到user=dr.who权限问题
xiaozhang0912的博客
03-08 2554
在搭建好集群兴致冲冲的准备建立自己的文件夹时，非常悲催的遇到了权限问题，心情一下down。。。。。 如图 当在/目录下建立zzk文件时，错误代码提示user=dr.who，dr.who是Resource Manager UI的用户，主要原因是当前用户对于此路径或此路径下的文件权限不够导致，无法读、写、或者执行等操作。 先stop-all.sh，关闭集群 修改配置文件core-site.xml，添...
yarn一直自动生成用户为dr.who的application
weixin_43300503的博客
03-02 3028
之前用三台云服务器搭建完集群后发现任务运行的特别慢 yarn:8088页面后发现有很多奇怪的任务在跑 而且这些任务怎么都完不成还一直在生成，查看各种log日志怎么也没有exception。 后来看了https://www.cnblogs.com/daxiangfei/p/9198856.html 才发现原来是被攻击了。 查看进程发现cup占用异常的高应该是黑客用机器去挖矿了。。。。。 解决方法： ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值