Yarn 生产环境核心配置参数

最新推荐文章于 2024-04-29 09:56:41 发布
最新推荐文章于 2024-04-29 09:56:41 发布
阅读量397 收藏
点赞数
分类专栏： 面试 学习路线 阿里巴巴 文章标签： java java进阶 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67401153/article/details/124777631
版权
本文详细介绍了Yarn在生产环境中的核心配置参数，包括ResourceManager、NodeManager和Container的相关设置，如调度器配置、内存和CPU管理、硬件检测等，以确保高效稳定的集群运行。
摘要由CSDN通过智能技术生成

文章目录

Yarn 生产环境核心配置参数

image

ResourceManager

配置调度器

yarn.resourcemanager.scheduler.class

默认是容量调度器

ResourceManager处理调度器请求的线程数量

ResourceManager处理client请求的线程数量

yarn.resourcemanager.scheduler.client.thread-count

默认是50

NodeManager

是否让yarn自己检测硬件进行配置

yarn.nodemanager.resource.detect-hardware-capabilities

默认是false

类似安装软件时的自动安装

最低0.47元/天 解锁文章
咩咩咩咩没
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Yarn 生产环境核心参数配置案例
好好学习天天向上
05-07 857
文章目录Yarn 生产环境核心参数配置案例需求修改yarn-site.xml配置分发重启集群执行WordCount程序 Yarn 生产环境核心参数配置案例 调整下列参数之前要拍摄Linux快照(就是保留之前的状态)，否则后续的案例，还需要重写集群 右键-拍摄快照 右键-恢复到快照 需求 从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。 1G/128M=8个MapTask 1个ReduceTask 1个mrAppMaster 平均每个节点运行10个/3台≈3个任务 （4个
yarn-内存相关基本参数设置（转）
测试工程师Eric的路...
05-07 427
【YARN中内存资源的调度和隔离】 基于以上考虑，YARN允许用户配置每个节点上可用的物理内存资源， 注意，这里是“可用的”，因为一个节点上的内存会被若干个服务共享， 比如一部分给YARN，一部分给HDFS，一部分给HBase等，YARN配置的只是自己可以使用的，配置参数如下： （1）yarn.nodemanager.resource.memory-mb 表示该节点上YA
修改hadoop集群的yarn.nodemanager.resource.cpu-vcores值
最新发布
qq_37263429的博客
04-29 132
修改数讯hadoop集群yarn.nodemanager.resource.cpu-vcores
Hadoop：yarn资源配置
web15536243458的博客
08-17 1541
举个例子：公司5台服务器，每台服务器是16核，64G内存，一般会预留20%内存，64x0.8=51.2，内存就按50算，如果机器性能很好，1物理cpu核可以模拟2虚拟核使用，这是yarn自己引入的概念，那就是16x2=32个vcores。不管是spark on yarn还是flink on yarn都是将任务提交后，在yarn上申请运行任务的容器，这个容器就是container，container由内存跟cpu核组成。如果设置min_vcoure = 1，那么最多可以跑32/1=32个container。.
Flink 集群部署 之 YARN配置（YARN Setup）
飞朋的博客
09-11 7802
目录 快速开始 在YARN上启用一个长连接Flink集群 在YARN上运行一个Flink任务 Flink YARN Session 启动Flink Session 提交Job到Flink 提交一个Flink job到YARN User jars & Classpath YARN上Flink任务的恢复行为 Debugging一个失败的YARN session 日志文件...
Yarn中container、mr内存的配置，控制container个数
qq_32445015的博客
02-10 1800
最近项目在用kylin，在搭建开发环境和测试环境后，然后在kylin上建cube，kylin建cube实际就是调用集群的MR跑任务(也可以调用spark作为引擎)，在数据量小或者维度(kylin里面的一个概念)少的时候没问题，后来数据量大或维度多了，就经常出现OOM的问题。
Hadoop2.X/YARN环境搭建--CentOS7.0系统配置
09-10
3. **稳定性与企业级支持**：虽然其他Linux发行版如Ubuntu和elementaryOS在视觉效果上有吸引力，但CentOS因其稳定性和企业级支持而更适合用于生产环境。 4. **兼容性和适配性**：CentOS7.0对中文的支持较好，且其...
Spark的Yarn模式
01-20
这种方式下，客户端仅用于提交作业，然后退出，所有作业执行都在集群内部完成，适合于生产环境。ApplicationMaster负责向ResourceManager请求资源，并监控Executor的生命周期。 在配置Yarn模式运行Spark时，需要对`...
hadoop配置参数
09-07
1. **core-site.xml**：这是Hadoop的核心配置文件，定义了Hadoop的基本行为。其中最重要的是`fs.defaultFS`属性，它指定了默认的文件系统，通常设置为`hdfs://localhost:9000`，表示本地HDFS服务的地址和端口。 2. ...
hadoop2.7.5环境配置.rar
02-02
- 对于生产环境，你可能需要启用Hadoop的安全功能，如Kerberos，以提供身份验证和授权。 10. **优化与调整**： - 根据你的硬件资源和应用需求，可能需要进一步优化Hadoop的配置，例如内存分配、网络带宽等。 ...
yarn-scripts
03-15
在这个例子中，我们定义了四个脚本：`start` 运行服务器，`build` 执行 TypeScript 编译和 Webpack 打包，`test` 启动 Jest 测试，而 `deploy:dev` 和 `deploy:prod` 分别用于部署到开发和生产环境。 在 `yarn-...
Flink1.12源码解读——物理执行图（一）之TM实例构建过程
ws0owws0ow的博客
03-04 923
Apache Flink作为国内最火的大数据计算引擎之一，自身支持高吞吐，低延迟，exactly-once语义，有状态流等特性，阅读源码有助加深对框架的理解和认知。 Flink分为四种执行图，本章主要解析物理执行图的生成计划前半部分 本章及后续源码解读环境以生产为主：运行模式：OnYarn，HA模式：ZK，Mode：Streaming，关键逻辑解释我会备注到代码上（灰色字体）勿忽视。 此章节涉及的组件和框架的代码依赖部分大数据生态包括Yarn，Akka，ZK等。建议有此基础上阅读会提高可阅读性和实现理
Container是NodeManager虚拟出来的容器, 用来运行task任务的, 调优维度是 memory+vcore
xqg1316的博客
07-06 638
Container是nodemanager虚拟出来的容器，用来运行task任务的，调优维度是memory+vcore 如何优化Container参数？？假设128G,16个物理core的服务器 1、装完Centos，消耗内存1G 2、系统预留15%-20%内存（大概26G,其中包含Centos系统占用的1G内存），用来防止全部使用导致系统夯住和oom机制，或者给未来部署组件预留点空间。 3、假设该服务器上只有DataNode,NodeManager节点，余下内存128G-26G=102G 1）DataNod
yarn参数设置
weixin_46680124的博客
06-30 3347
NM 主要使用两个参数来限制 containers CPU 资源使用。首先，使用 yarn.nodemanager.resource.percentage-physical-cpu-limit 来设置所有 containers 的总的 CPU 使用率占用总的 CPU 资源的百分比。比如设置为 60，则所有的 containers 的 CPU 使用总和在任何情况下都不会超过机器总体 CPU 资源的 60 %。然后，使用 yarn.nodemanager.linux-container-executor.cgr
Yarn 3.x版本容器内存控制功能失效排查
weixin_42473019的博客
11-28 2万+
问题背景 Yarn集群中一部分节点的内存被打爆，排查发现作业使用内存超出了NodeManager的最大内存限制 找出故障时间点运行的作业，发现作业内存设置不合理，用户只设置了 mapreduce.map.java.opts=-Xmx40240m; mapreduce.reduce.java.opts=-Xmx80240m; 而没有设置 mapreduce.map.memory.mb（默认为1536） mapreduce.reduce.memory.mb（默认为3072） mapreduce.map.me
Hadoop学习之YARN（YARN配置参数）心得
ljs_0的博客
03-15 2151
YARN配置参数
Yarn 资源调度器概述
liudachu的博客
04-25 1135
Yarn资源调度器概述 思考： 1）如何管理集群资源？ 2）如何给任务合理分配资源？ Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1、Yarn基础架构 Yarn主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。 2、Yarn工作机制 ​ （1）MR程序提交到客户端所在的节点。 ​ （2）Ya
Yarn 内存分配管理机制及相关参数配置
热门推荐
Heaven Wang 的专栏
05-04 4万+
理解Yarn的内存管理与分配机制，对于我们搭建、部署集群，开发维护应用都是尤为重要的，对于这方面我做了一些调研供大家参考。 一、相关配置情况 关于Yarn内存分配与管理，主要涉及到了ResourceManage、ApplicationMatser、NodeManager这几个概念，相关的优化也要紧紧围绕着这几方面来开展。这里还有一个Container的概念，现在可以先把它理解为运行map/re
Yarn常用命令
大道至简
12-08 1万+
Yarn也是使用的package.json文件管理依赖包的。In other words，如果你想使用它，完全不需要任何额外的配置信息。 是不是很爽？？
尚硅谷Hadoop生产调优手册：NameNode内存配置解析
本手册主要聚焦于Hadoop分布式文件系统（HDFS）的核心参数调优，以确保在生产环境中高效、稳定运行。 1.1 NameNode内存生产配置 NameNode作为HDFS的主节点，负责元数据管理，包括文件系统的命名空间信息和文件块到...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值