Yarn配置标签的调度策略，刷新队列报错： default cannot be found during refresh

最新推荐文章于 2022-08-11 12:18:06 发布
最新推荐文章于 2022-08-11 12:18:06 发布
阅读量2.1k 收藏
点赞数
分类专栏： YARN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZhouyuanLinli/article/details/79362430
版权
本文介绍了如何解决Yarn配置标签调度策略时遇到的'default'队列找不到的问题。通过删除'yarn.scheduler.capacity.root.default.*'相关属性，并更新Capacity Scheduler配置，确保正确设置各队列和标签的容量比例。在修改完成后，需要同步配置到集群所有节点并重启服务以应用变更。
摘要由CSDN通过智能技术生成 
refreshQueues: java.io.IOException: Failed to re-init queues
	at org.apache.hadoop.yarn.ipc.RPCUtil.getRemoteException(RPCUtil.java:38)
	at org.apache.hadoop.yarn.server.resourcemanager.AdminService.logAndWrapException(AdminService.java:817)
	at org.apache.hadoop.yarn.server.resourcemanager.AdminService.refreshQueues(AdminService.java:398)
	at org.apache.hadoop.yarn.server.api.impl.pb.service.ResourceManagerAdministrationProtocolPBServiceImpl.refreshQueues(ResourceManagerAdministrationProtocolPBServiceImpl.java:102)
	at org.apache.hadoop.yarn.proto.ResourceManagerAdministrationProtocol$ResourceManagerAdministrationProtocolService$2.callBlockingMethod(ResourceManagerAdministrationProtocol.java:239)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:640)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:982)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2351)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2347)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.Use
最低0.47元/天 解锁文章
源神
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
qiniu-cache-refresh:基于配置的七牛缓存刷新命令行工具
04-30
基于配置的七牛缓存刷新命令行工具。 安装 yarn add qiniu-cache-refresh -D // 或者 npm i qiniu-cache-refresh -D 用法 配置 在项目根目录下新建 qiniu.config.js 文件，写入配置： module.exports = { accessKey...
充分了解yarn的三种调度器
03-22
* 调度策略灵活配置：Fair Scheduler 允许管理员为每个队列单独设置调度策略（当前支持 FIFO、Fair 或 DRF 三种），而 Capacity Scheduler 则不支持调度策略配置。 FIFO Scheduler 适用于简单的应用场景，Fair ...
failed to re-initialize
qq_39895006的博客
05-27 689
把仿真器usb口插到电脑usb口上面，不要用usb扩展器。我感觉是因为硬件不稳定吧，导致不兼容。
yarn新增队列后提交任务失败后问题排查
weixin_44978754的博客
08-02 784
yarn上新增队列名为sprak队列后任务提交失败 查看capacity-scheduler.xml 发现yarn默认给default队列分配了100%的内存 可能是内存导致的 到yarnweb页面上查看 发现default队列可用容量为100% 而新增加的队列容量为0% 于是将default队列的配置复制一份给spark队列 并将队列容量均分 新增spark队列配置如下 <property> <name>yarn.scheduler.ca...
hadoop yarn 资源配置
wangjunji34478的专栏
06-08 1198
yarn.scheduler.capacity.default.minimum-user-limit-percent=100yarn.scheduler.capacity.maximum-am-resource-percent=0.2yarn.scheduler.capacity.maximum-applications=10000yarn.scheduler.capacity.node-loca...
spring cloud 学习笔记-Eureka
Michael曾的博客
04-16 5万+
eureka学习
配置yarn调度器后，自动刷新集群队列
lm709409753的专栏
07-31 1324
前期配置的容器调度策略，配置之后，然后重启了应用环境，（感觉好蠢），今天在阅读文档的时候，发现可以使用 yarn rmadmin -refreshQueues 命令。
Picasso报错 java.io.IOException: Cannot reset
天下武功唯CODING不破
05-26 1344
Picasso是android端的一个强大超级好用的图片加载器，比ImageLoader更加方便，但是今天在使用的时候发现一个问题，在一加手机上出现了显示不了图片的问题，当然并不是所有的图片都显示不了，是部分图片，至于原因这就必须得分析Picasso源码了，后来我打印了Picasso的错误信息，发现提示： java.io.IOException: Cannot reset 我现在的
大数据平台构建：YARN的任务调度.pptx
06-21
现实生产环境当中资源往往是非常紧张的，尤其是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源，Yarn提供了多种调度器和可配置的策略供我们选择，来解决这一系列复杂的应用场景。...
yarn配置文件.7z
12-25
本压缩包“yarn配置文件.7z”包含了与Yarn工作流相关的三个核心文件：`package.json`、`yarn.lock`和`yarnrc`，它们对于理解和管理Node.js项目中的依赖关系至关重要。 1. **package.json**：这是每个Node.js项目的...
webpack-fast-refresh：用于Webpack的React Fast Refresh插件和加载器
02-06
webpack-快速刷新 对webpack@5+和babel@7.9+进行快速刷新 重要的提示 该存储库应被视为EXPERIMENTAL 。...yarn add -D -E @webhotelier/webpack-fast-refresh react-refresh 2.配置Webpack 对您的web
解决rabbitmq DeclarationException: Failed to declare queue异常
我在阴山下
12-05 5万+
异常描述 创建队列进行消息发送的时候报错 org.springframework.amqp.rabbit.listener.BlockingQueueConsumer$DeclarationException: Failed to declare queue(s):[miaosha.queue] at org.springframework.amqp.rabbit.listener.Blo...
[问题已处理] java.io.IOException 权限不够
爷来辣的博客
09-20 7302
这几天修改了jenkins发布时启动java项目的用户。原先是root现在换成普通用户了，结果部署下来会报错 java.io.IOException: 权限不够 发现临时文件的创建目录是/tmp/poifiles，到服务器查看/tmp/poifiles这个文件的创建用户是root，java普通用户肯定无法访问，把/tmp/poifiles这个文件夹重新赋权给普通用户，然后再重试导出，OK了。 命令...
yarn资源配置及使用
q495673918的博客
08-11 2791
理想情况下，应用提交到yarn上立马就可以获得资源执行任务，但是现实情况资源往往是有限的，任务执行的先后及获得资源的多少，yarn给我们提供了多种调度器和配置策略供我们选择。适合多个组织共享整个集群，每个组织分配专门的队列，然后每个队列分配一定的资源。资源按百分比进行分配成多个队列，且队列资源可以设置弹性，在队列资源不够的时候可以使用其他队列资源，其他队列有任务的时候会在本队列任务执行完成释放资源还给其他队列。在队列内部，资源调度采用先进先出(FIFO)策略。......
解决Caused by: java.io.IOException: java.io.IOException: error=12, Cannot allocate memory
weixin_33720078的博客
08-25 2764
最近公司一台线上服务器的hbase的regionserver挂掉之后起不起来报错OOM。这台机器同时装有cassandra，于是停掉cassandra释放内存，重启regionserver失败，同时cassandra再尝试启动也报错Caused by: java.io.IOException: java.io.IOException: error=12, Cannot allocate memor...
解决Caused by: java.io.IOException: 设备上没有空间
般若
02-20 9449
文件名称 版本号 作者 qq 组件版本 标题 v1.0.0 学生宫布 8416837 SpringBoot 2.2.6SpringCloud Hoxton.SR4 文章目录报错全称代码疑似产生的原因弯路、坑分析解决方案领悟关于 报错全称 CENT OS环境，运行jar包时，出现 Caused by: java.io.IOException: 设备上没有空间 执行df -h 发现/dev/mapper/centos-root 100% 代码 疑似产生的原因 空间已占用100% 弯路、坑 删...
java.io.IOException 断开的管道 解决方法 ClientAbortException: java.io.IOException: Broken pipe
热门推荐
zqz_zqz的博客
08-17 20万+
今天公司技术支持的童鞋报告一个客户的服务不工作了，紧急求助，于是远程登陆上服务器排查问题。 查看采集数据的tomcat日志，习惯性的先翻到日志的最后去查看有没有异常的打印，果然发现了好几种异常信息，但是最多还是这个： 24-Nov-2016 09:54:21.116 SEVERE [http-nio-8081-Acceptor-0] org.apache.tomcat.uti...
按照该方法，最后执行yarn--version 报错：-bash: yarn：未找到命令
最新发布
06-09
这个问题可能是因为你的系统没有安装yarn或者yarn没有正确安装。请尝试以下步骤解决问题： 1. 确认你的系统已经安装了Node.js，因为yarn是基于Node.js的包管理器。 2. 在终端中输入以下命令，以检查yarn是否已经正确安装： ``` yarn --version ``` 如果yarn没有正确安装，会出现"-bash: yarn: command not found"的错误提示。 3. 如果你已经安装了yarn，但是仍然出现这个错误，请检查你的PATH环境变量是否正确设置。你可以通过输入以下命令来查看PATH环境变量： ``` echo $PATH ``` 确认你的yarn安装目录已经添加到了PATH环境变量中，如果没有添加，请将yarn的安装路径添加到PATH环境变量中。 4. 如果你还没有安装yarn，请根据你的操作系统从官网下载并安装yarn：https://classic.yarnpkg.com/en/docs/install 安装完成后，重新打开一个终端窗口，输入以下命令来检查yarn是否已经正确安装： ``` yarn --version ``` 如果yarn已经正确安装，会显示yarn的版本号。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值