Yarn 调优 （内存、CPU）

最新推荐文章于 2024-12-25 19:11:45 发布
最新推荐文章于 2024-12-25 19:11:45 发布
阅读量1.2k 收藏 2
点赞数 1
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44591209/article/details/88642130
版权
本文详细介绍了如何在YARN集群中进行内存和CPU的配置调优，包括内存的预留、Hbase及系统内存分配、container内存最小值和最大值的设定，以及CPU的虚拟核心配置，旨在最大化资源利用率，避免资源浪费。
摘要由CSDN通过智能技术生成

      在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的。根据经验，每两个container使用一块磁盘以及一个CPU核的时候可以使集群的资源得到一个比较好的利用。

内存配置

YARN所有可用的内存资源应该要减去系统预留内存、各个进程内存的经验值。

即：总共保留的内存=系统内存+各个进程内存的经验值。

Hbase 、系统需要的内存（一般留总内存的20%左右）参考： 

每台机子内存 系统需要的内存 HBase需要的内存
4GB 1GB 1GB
8GB 2GB 1GB
16GB 2GB 2GB
24GB 4GB 4GB
48GB 6GB 8GB
64GB 8GB 8GB
72GB 8GB 8GB
96GB 12GB 16GB
128GB 24GB 24GB
256GB 32GB 32GB
512GB 64GB 64GB

 

RM/NN 、DN/NM内存

最低0.47元/天 解锁文章
yarn内存配置指南
07-14 5087
yarn中需要配置很多内存，比如
Yarn调优简介
mm_ren的博客
05-19 716
1.yarn内存调优yarn.nodemanager.resource.memory-mb可以分配给容器的物理内存(以MB为单位)。如果设置为-1，并yarn.nodemanager.re...
Yarn 内存分配管理机制及相关参数配置
weixin_34018202的博客
09-08 821
理解Yarn的内存管理与分配机制，对于我们搭建、部署集群，开发维护应用都是尤为重要的，对于这方面我做了一些调研供大家参考。 关于Yarn的详细介绍请参考【Hadoop Yarn详解】 一、相关配置情况 关于Yarn内存分配与管理，主要涉及到了ResourceManage、ApplicationMatser、NodeManager...
Hadoop YARN：调度性能优化实践7
最新发布
ZXYokjhgf9的博客
12-25 930
本文主要介绍了美团点评Hadoop YARN集群公平调度器的性能优化实践。做性能优化，首先要定义宏观的性能指标，从而能够评估系统的性能。定义压测需要观察的细粒度指标，才能清晰看到系统的瓶颈。工欲善其事，必先利其器。高效的压力测试工具是性能优化必备的利器。优化算法的思路主要有：降低算法时间复杂度；减少重复计算和不必要的计算；并行化。性能优化是永无止境的，要根据真实业务来合理预估业务压力，逐步开展性能优化的工作。代码上线需谨慎，做好防御方案。
Yarn调优
qq_34382453的博客
10-25 348
1 什么是yarn Yarn是Hadoop2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster，其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。 Yarn主要由Resou...
yarn调优
weixin_43975538的博客
07-11 509
1.yarn内存调优 yarn.nodemanager.resource.memory-mb 可以分配给容器的物理内存(以MB为单位)。如果设置为-1，并yarn.nodemanager.resource.detect-hardware- capability为真，则自动计算(在Windows和Linux中)。在其他情况下，默认值是8192MB。 yarn.scheduler.minimum-al...
Yarn参数调优
forerunner123的博客
04-15 444
yarn在该节点上可使用的物理内存总量，默认是8192（MB） 注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。 <property> <description>Amount of physical memory, in MB, that can be allocated for container...
Yarn调优&Yarn调度器
wzj_wp的博客
12-20 430
Yarn调优 假设内存128G 16物理core 装完CentOS，消耗内存1G 系统预览15%-20%内存(包含1.1)，以防全部使用导致系统夯住 和 oom机制事件，或者给未来部署组件预览点空间(128*20%=25.6G==26G) 假设只有DN NM节点，余下内存: 128-26=102G 给DN进程(自身)2G，给NM进程(自身)4G，剩余102-2-4=96G container...
SparkOnYarn内存管理及概念解析和核心参数调优配置（生产）
weixin_44824330的博客
04-01 472
Spark On Yarn 概念和内存配置参数调优（生产）
yarn的资源调优
大门的博客
07-13 728
1.概念 作业，job，application，应用，都是同一个意思 Container: 容器，Yarn的组件，虚拟的概念 将一定的内存CPU 比如 1G 1vcore资源抽象为一个小房间，来运行任务 2.yarn的资源调优 参照这张图： ①内存方面： 假如一台机器是64G物理内存，一般16物理core，对应的32个虚拟core（32vcore） Linux系统本身要占内存+空留: 20% ...
Hadoop-Yarn调优
迷路剑客个人博客
04-30 496
Yarn-调优 0x01 概述 1.1 官方文档 首先给出一个Apache-Hadoop官方写的关于yarn-site.xml的配置项说明地址： yarn-default.xml Hortonworks Documentation9. Determine HDP Memory Configuration Settings 1.2 内存和CPU的资源隔离方案 YARN对内存资源和CPU资...
CDH集群之YARN性能调优
延宝小白马的博客
03-27 758
本文主要讨论CDH集群的YARN调优配置，关于YARN的调优配置，主要关注CPU和内存的调优，其中CPU是指物理CPU个数乘以CPU核数，即Vcores = CPU数量*CPU核数。YARN是以container容器的形式封装资源的，task在container内部执行。 集群配置 集群的配置主要包括三步，第一是先规划集群的工作主机以及每台主机的配置，第二是规划每台主机的安装的组件及其资源分配，第三是规划集群的规模大小。 工作主机的配置 如下表所示：主机的内存为256G，4个6核CPU，CPU支持超
yarn集群调优
lcm_linux的博客
08-18 1320
一、概述 每个job提交到yarn上执行时，都会分配Container容器去运行，而这个容器需要资源才能运行，这个资源就是Cpu和内存。 1、CPU资源调度 目前的CPU被Yarn划分为虚拟CPU，这是yarn自己引入的概念，因为每个服务器的Cpu计算能力不一样，有的机器可能是 其他机器的计算能力的2倍，然后可以通过多配置几个虚拟内存弥补差异。在yarn中，cpu的相关配置如下。 yarn.nodemanager.resource.cpu-vcores 表示该节点服务器上yarn可以使用的虚拟的CPU个数，
美团1万台 Hadoop 集群 YARN 的调优之路
yyoc97的专栏
04-05 504
编者荐语： ​YARN作为Hadoop的资源管理系统，负责Hadoop集群上计算资源的管理和作业调度。随着集群规模扩大以及业务量的增长，集群调度能力会随着压力增加而逐渐下降。美团是如何解决这个问题的呢？ 以下文章来源于美团技术团队，作者世龙 廷稳 美团技术团队 9000+工程师，如何支撑中国领先的生活服务电子商务平台？3.2亿消费者、500万商户、2000多个行业、几千亿交易额背后...
YARN的Memory和CPU调优配置详解
Noisy Fish的博客
01-04 1267
Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。 在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根据经验，每...
Hadoop Yarn 核心调优参数
JIE的博客 --- moon_coder
08-25 1978
如果一个容器的虚拟内存使用量超过了预先配置的限制，NodeManager 会采取措施来处理这种情况，通常是终止或杀死该容器。这个参数的目的是限制应用程序可以使用的虚拟内存量，以避免某个应用程序无限制地占用虚拟内存资源，导致其他任务和应用程序受影响。用于指定每个 NodeManager 节点可以使用的内存量，以兆字节（MB）为单位，默认。用于指定每个 NodeManager 节点可以使用的虚拟核心数量（vCores），默认为。，NodeManager 将会在分配容器资源时，考虑每个容器使用的虚拟内存量。
yarn调优以及常见问题的解决方案
Java架构师联盟
03-02 481
发的发射点发射点发
yarn调优之内存分配
chenguangchun1993的博客
01-15 1735
前几天刚刚装了一个HDP集群，在添加spark2服务以后，设置的3个thriftserver总是有一个报错，删除了一个thriftserver以后可以正常启动，原以为这样就能正常运行了，然而，并没有。 昨天由于需要，运行了一个MR任务，奇怪的是任务总是被阻塞起（忽略红线）。 可以看到，上面有两个thriftserver正在运行。于是乎，我手动停止了一个thriftserver。 MR
美团一万台Hadoop集群YARN扩展性调优实践
YARN抽象出CPU和内存两个主要资源类型，通过`Resource`类表示，包含CPU核心数和内存大小。应用通过提交`List<ResourceRequest>`来指定所需的资源配额。 调优策略 1. **调度器优化**：默认的Capacity Scheduler或...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值