Yarn参数调优

已于 2022-07-05 17:21:33 修改
阅读量224 收藏
点赞数
文章标签： 大数据
于 2022-07-05 17:21:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_69474251/article/details/125624246
版权

数据统计主要用HiveSQL，没有数据倾斜，小文件已经做了合并处理，开启的JVM重用，而且IO没有阻塞，内存用了不到50%。但是还是跑的非常慢，而且数据量洪峰过来时，整个集群都会宕掉。基于这种情况有没有优化方案。

解决办法

NodeManager内存和服务器实际内存配置尽量接近，如服务器有128g内存，但是NodeManager默认内存8G，不修改该参数最多只能用8G内存。NodeManager使用的CPU核数和服务器CPU核数尽量接近。

①yarn.nodemanager.resource.memory-mb NodeManager使用内存数

②yarn.nodemanager.resource.cpu-vcores NodeManager使用CPU核数

m0_69474251
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
yarn资源调优参数及案例
weixin_38729343的博客
07-19 1670
1.yarn内存调优 说明：yarn主件的nodemanager进程管理的resource的memory资源 可以分配给容器的物理内存(以MB为单位)。如果设置为-1，并yarn.nodemanager.resource.detect-hardware- capability为真，则自动计算(在Windows和Linux中)。在其他情况下，默认值是8192MB。 yarn.nodemanager....
Yarn调优简介
mm_ren的博客
05-19 658
1.yarn内存调优yarn.nodemanager.resource.memory-mb可以分配给容器的物理内存(以MB为单位)。如果设置为-1，并yarn.nodemanager.re...
hadoop生产调优之Hadoop-Yarn 生产经验（参数调优）
ztx22555的博客
12-25 1284
hadoop生产调优之Hadoop-Yarn 生产经验（参数调优）
YARN方面的调优
bigdata_player
01-22 493
1.使用好三种调度器            将任务分队列，不同的任务使用不同的队列            三种调度器详解：https://blog.csdn.net/qq_23160237/article/details/86585511   2.充分利用cpu和内存           yarn资源管理有虚拟核和虚拟内存的概念，可以将虚拟核、虚拟内存调整为物理机的两到三倍，增加任务数量...
小文件合并
asfjgvajfghaklsbf的博客
01-05 948
概述 hdfs小文件合并可减少namenode中保存的元数据信息，减轻namenode压力，并且提升数据查询效率。 但要注意到，我们一般只合并n天前的数据，比如3天前，所以基本上我们是在合并冷数据，合并热数据可能出现问题，一般不推荐合并。 小文件合并工具大致可分为 小文件目录扫描 和 小文件合并 两个阶段，下面予以介绍。 小文件扫描1.0 对于直接给定的hdfs目录，我们并不能很好地判断该目录能否进行合并，比如将两个配置文件合并就是不对的，因此小文件合并主要针对hive表进行。 扫描的输入是一系列的hive
hadoop、habse、yarn、MapReduce调优等总结的集合调优.docx
12-05
此外，硬件配置、网络环境、JVM参数调优也是不可忽视的部分。例如，选择合适的Java版本（如Java 1.8.0），确保操作系统兼容性，合理设置JVM堆大小以平衡内存使用和GC性能，都是提升Hadoop性能的重要手段。 总结来说...
YARN线上动态资源调优.doc
07-08
【YARN线上动态资源调优】是针对Hadoop YARN框架进行的一种实时资源优化方法，目的是提高集群资源的利用率和整体性能。当线上Hadoop集群出现资源紧张的情况，例如需要添加磁盘、CPU或者节点，调整YARN的资源配置至关...
spark性能调优
09-30
但在生产环境中，确保使用合适的集群模式（如Standalone、YARN或Mesos），以充分利用分布式计算能力。 8. **持久化策略**：通过`cache()`或`persist()`方法缓存中间结果，可以减少重复计算。选择合适的持久化级别...
Yarn常见问题维护手册V1.01
08-03
**YARN 基本概念** YARN，全称为 Yet ... - `[YARN-10002]` 怎样在 YARN 提交任务时指定队列：在提交 MapReduce 任务时，可以使用 `-D mapreduce.job.queue.name` 参数指定队列名，例如 `hadoop jar yourJob.jar ...
spark单节点调优
08-20
4. **其他调优参数** - **executor数目**：`spark.executor.instances`应根据集群资源和任务需求合理设置，避免过多或过少导致资源浪费或瓶颈。 - **executor核心数**：`spark.executor.cores`决定了每个executor...
hadoop yarn优化配置项生成工具
06-06
hadoop yarn优化配置项生成工具，需要安装python环境，执行例如：python yarn-utils.py -c 24 -m 256 -d 4
MapReduce 从作业、任务（task）、管理员角度调优
iteye_14580的博客
10-14 547
【摘自hyj博主】 Hadoop为用户作业提供了多种可配置的参数，以允许用户根据作业特点调整这些参数值使作业运行效率达到最优。 一 应用程序编写规范 1.设置Combiner 对于一大批MapReduce程序，如果可以设置一个Combiner,那么对于提高作业性能是十分有帮助的。Combiner可减少Map Task中间输出的结果，从而减少各个Reduce Task的远程拷...
Hadoop Yarn内存使用优化配置
senvil的专栏
10-05 1万+
第一部分Hadoop Yarn内存使用优化配置     在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度。     YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapReduce)
YARN内存使用优化配置
Jayke Lin
05-30 286
在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapReduce)发来的资源请求, 然后YARN会通过分配Container来给每个应用...
YARN的调优参数
qq_41301707的博客
12-14 838
YARN的调优参数 一.Container概念 Container我个人理解成一块虚拟的空间，是由menory和vcore一起组成的 vcore这个概念是由yarn提出来的，为了防止在一个集群里面的各个机器的core性能不一致才提出这个概念，这指的是一个虚拟化的core，如果在同一个集群里面一台机器的CPU处理性能很好...
Yarn资源分配性能调优
热门推荐
茄肥猫的窝
01-28 1万+
日志： Container [pid=134663,containerID=container_1430287094897_0049_02_067966] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 1.5 GB of 10 GB virtual mem
影响yarn资源调优的6个参数
whiteblacksheep的博客
07-11 548
内存参数 yarn.nodemanager.resource.memory-mb 表示该节点上YARN可使用的内存总数，默认是8G yarn.scheduler.minimum-allocation-mb 单个任务可申请的最小的内存大小，默认是1G，当内存不够时，会自动按照一定大小累加内存。 yarn.scheduler.maximum-allocation-mb 单个任务可申请的最大...
Yarn 的虚拟内存是什么意思
h952520296的博客
02-04 1347
Hadoop YARN同时支持内存和CPU两种资源的调度,默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置。 目前的CPU被划分成虚拟CPU（CPU virtual Core），这里的虚拟CPU是YARN自己引入的概念，初衷是，考虑到不同节点的CPU性能可能不同，每个CPU具有的计算能力也是不一样的，比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍，这时候，你可以通过为第一个物理CPU多配置几个虚拟CPU弥补这种差异。用户提交作业时，可以指定每个任务需要的虚拟CPU个数。 内存资.
cdh之调整YARN（调优yarn 生产必做优化项）004
weixin_33788244的博客
03-26 1761
2019/3/26 星期二调整YARN本主题仅适用于YARN群集，并介绍如何为群集调整和优化YARN。注意：下载Cloudera YARN调整电子表格以帮助计算YARN配置。 有关简短视频概述，请参阅调整YARN应用程序。概观此概述提供YARN群集的抽象描述和YARN调整的目标。 YARN群集由主机组成。 主机提供内存和CPU资源。 vcore或虚拟核心是主机CPU的使用份额。 调整YARN主要包...
yarn-site.xml 参数调优
最新发布
06-02
YARN（Yet Another Resource Negotiator）是Hadoop 2.x中的一个集群资源管理器，它的任务是为集群中的应用程序分配资源，并协调集群中的计算资源。对于YARN集群而言，参数调优是非常重要的，它可以极大地影响集群的性能和稳定性。下面介绍一些常见的YARN参数调优方法： 1. yarn.scheduler.maximum-allocation-mb：该参数定义了YARN管理的每个容器的最大内存大小，默认为8192 MB。可以根据集群内存大小及应用程序内存需求进行调整。 2. yarn.scheduler.minimum-allocation-mb：该参数定义了YARN管理的每个容器的最小内存大小，默认为1024 MB。可以根据应用程序内存需求进行调整。 3. yarn.nodemanager.resource.memory-mb：该参数定义了每个节点管理器可以使用的最大内存大小，默认为8192 MB。可以根据节点物理内存大小进行调整。 4. yarn.nodemanager.resource.cpu-vcores：该参数定义了每个节点管理器可以使用的最大CPU核心数，默认为8个。可以根据节点CPU核心数进行调整。 5. yarn.scheduler.minimum-allocation-vcores：该参数定义了YARN管理的每个容器的最小CPU核心数，默认为1个。可以根据应用程序CPU需求进行调整。 6. yarn.scheduler.maximum-allocation-vcores：该参数定义了YARN管理的每个容器的最大CPU核心数，默认为32个。可以根据集群CPU核心数进行调整。 7. yarn.nodemanager.local-dirs和yarn.nodemanager.log-dirs：这两个参数定义了节点管理器的本地目录和日志目录。可以根据节点磁盘空间大小和性能进行调整。 8. yarn.nodemanager.delete.debug-delay-sec：该参数定义了节点管理器在删除容器后等待的时间，默认为0秒。可以根据节点磁盘空间大小和性能进行调整。 9. yarn.application.max-attempts：该参数定义了应用程序失败后最大的重试次数，默认为2次。可以根据应用程序的重要性进行调整。 10. yarn.nodemanager.vmem-check-enabled：该参数定义了节点管理器是否启用虚拟内存检查，默认为true。可以根据应用程序的内存特性进行调整。 总之，不同的YARN集群需要根据自身的硬件配置和应用程序需求进行参数调优，以达到最佳的性能和稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值