Yarn container 资源分配 与task和Executor关系

最新推荐文章于 2023-07-28 12:22:02 发布
最新推荐文章于 2023-07-28 12:22:02 发布
阅读量2.7k 收藏 21
点赞数 6
分类专栏： hive 文章标签： spark yarn mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36998916/article/details/115235373
版权
本文详细探讨了在YARN上运行Spark和MapReduce时，container的资源分配与maptask/reducetask及Executor的关系。讨论了YARN机器的内存预留、container的内存与CPU控制，以及如何配置mapreduce和spark的相关参数以优化资源利用。在Spark on YARN中，每个Executor在一个container中运行，可并行执行多个task；而在MapReduce中，每个Task都在单独的container中单线程执行。
摘要由CSDN通过智能技术生成

Yarn container 资源分配 与task和Executor关系

问题： spark on yarn 或者 mapreduce on yarn 中 container 的资源 与 maptask/reducetask 或 Executor的资源分配关系?


Yarn container 的个数, 内存与CPU控制

一. YARN 机器 – 预留内存

总共保留的内存=系统内存+HBASE内存。

每台机子内存 系统需要的内存 HBase需要的内存
4GB 1GB 1GB
8GB 2GB 1GB
16GB 2GB 2GB
24GB 4GB 4GB
48GB 6GB 8GB
64GB 8GB 8GB
72GB 8GB 8GB
96GB 12GB 16GB
128GB
最低0.47元/天 解锁文章
chenshitong96
关注
  • 6
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
SparkSql内存专题——Spark on YARN Executor整体内存理解
xiaoluobutou的专栏
03-09 970
不管是聚合、还是join； 不管它们占的空间有多大； 不管它们是int类型的，还是一个大json串； 不管实现整个聚合的计算用的是HashAgg 、是ObjectHashAgg 或者是SortAgg； 不管实现整个JOIN的计算用的是SortMergeJoin 、是ShuffleHashJoin 、还是BroadcastHashJoin...
Hadoop+YARN资源分配+与调度的研究
10-09
### Hadoop+YARN资源分配+与调度的研究 #### 概述 随着大数据时代的到来，分布式计算成为处理海量数据不可或缺的技术。Hadoop作为一种开源的分布式计算框架，因其高可靠性、可扩展性和容错性等特点，在大数据处理...
彻底搞明白YARN资源分配
m0_46168848的博客
07-28 1686
Container是以什么形式运行的？是单独的JVM进程吗？是的，每一个Container就是一个单独的JVM进程。YARN的vcore和本机的CPU核数关系？没关系。默认都是手动在yarn-default.xml中配置的，默认每个NodeManager是8个vcore，所有的NodeManager上的vcore加在一起就是整个YARN所有的vcore。每个Container能够使用的物理内存和虚拟内存是多少？
yarn中rescource manager,node manager,application master,container,executor,task的关系
persuit的专栏
04-07 2688
rescource manager,node manager平级 application master负责各个的container 一个node可以有多个container 一个container可以有多个executor 每个executor可以有多个task和多个core，每个core每次只是负责一个task 一
spark on yarn模式下的executor与container
孙大迪迪的博客
03-13 9242
ava8内存模型： http://www.cnblogs.com/paddix/p/5309550.html http://www.cnblogs.com/dingyingsi/p/3760447.html 帖子里提到 5、方法区： 方法区也是所有线程共享。主要用于存储类的信息、常量池、方法数据、方法代码等。 方法区逻辑上属于堆的一部分，但是为了与堆进行区分，通常又叫“非堆”。 1.7和1.8后这...
内存模型学习-- Container Executor task之间的关系
weixin_34418883的博客
05-26 274
（分割线前的都是废话） java8内存模型： http://www.cnblogs.com/paddix/p/5309550.html http://www.cnblogs.com/dingyingsi/p/3760447.html 帖子里提到 5、方法区： 方法区也是所有线程共享。主要用于存储类的信息、常量池、方法数据、方法代码等。 方法区逻辑上属于堆的一部分，但是为了与堆进行区分...
【大数据】HADOOP-YARN-ContainerExecutor容器启动器详解
如切如磋，如琢如磨，臻于至善。
03-13 1705
这个执行器仅在GNU/Linux上支持。为了最大化安全，executor安装限制本地文件和被容器使用目录（如共享对象，jars，中间文件，日志文件等等）的权限和用户/组所属权。这里的组hadoop是NodeManager Unix用户（yarn）所属的组，并且组内没有非hadoop相关的用户，以防安全风险。在NodeManager中，会为每个Application，以及每个Container建立一个对应的目录，在每个Container的目录下，就放置了一些运行这个Container必需的信息。
YARN监控管理与资源管理.pdf
最新发布
04-10
YARN负责为这些程序分配必要的资源（如内存、CPU等），确保资源的有效利用和管理。 #### 二、YARN WebUI服务 ##### 2.1 WebUI V1 YARN提供了两种Web用户界面服务：WebUI V1和WebUI V2。WebUI V1是早期版本中使用的...
分布式资源调度——YARN框架
03-01
本文来自于51cto，ApacheHadoopYARN（YetAnotherResourceNegotiator，另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度.YARN是Hadoop2.x才有的，...
Mapreduce分布式计算组件和YARN分布式资源调度
04-07
Mapreduce分布式计算组件和YARN分布式资源调度
重新编译的Container-executor 目录文件路径/etc/container-executor.cfg
09-01
hadoop自带的Container-executor在配置yarn-kerberos时存在问题，这边给出编译后的Container-executor，默认加载配置文件路径/etc/container-executor.cfg，大家不用再重新编译了
大数据初学者问题汇总之如何准确找出yarn任务的container、driver、executor具体在哪台服务器上，使用了多少资源，以及任务执行的本地文件位置包括jar包和配置文件？
chengzixiannv的博客
04-12 566
大数据初学者问题汇总之如何准确找出yarn任务的container、driver、executor具体在哪台服务器上，使用了多少资源，以及任务执行的本地文件位置包括jar包和配置文件？
spark源码跟踪(十)container申请与Executor启动
weixin_43172032的博客
02-24 1615
Container申请与Executor启动一，介绍二，YarnAllocator说明2.1，类构造函数三，Container资源申请3.1，常用概念及其类3.3，调用过程3.3.1，allocateResources(): Unit3.3.2，请求资源3.3.3，handleAllocatedContainers3.3.3，ExecutorRunnable四，YarnCoarseGrainedExecutorBackend进程 一，介绍 yarn-cluster模式下，Spark Container资源的
cdh6.2 yarn参数优化小记录(记录中)
永青技术博客
01-24 1332
一、闲扯 最近离线行车日志数仓，项目即将基于Lambda架构形式，实时基于flink框架，离线批处理基于 HiveOnSpark。中期基于这个机构。最后版本定位FlinkSQL 批流一体化。 测试环境基于阿里云搭建的CDH。目前准备跑一下测试的flin实时作业和spark作业。内存有限，所以做了相关调整。略记录一下 二、正题 1、yarn.nodemanager.resource.memory-mb 表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够.
Yarn 的虚拟内存是什么意思
h952520296的博客
02-04 1373
Hadoop YARN同时支持内存和CPU两种资源的调度,默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置。 目前的CPU被划分成虚拟CPU（CPU virtual Core），这里的虚拟CPU是YARN自己引入的概念，初衷是，考虑到不同节点的CPU性能可能不同，每个CPU具有的计算能力也是不一样的，比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍，这时候，你可以通过为第一个物理CPU多配置几个虚拟CPU弥补这种差异。用户提交作业时，可以指定每个任务需要的虚拟CPU个数。 内存资.
深入理解Hadoop YARN中的Container概念
搬砖的鱼的博客
06-09 855
深入理解Hadoop YARN中的Container概念 在学习Hadoop YARN—Hadoop 2.0新引入的通用资源管理系统过程中，总会遇到Container这一概念，由于中文资料的缺乏，很多人对Container这一概念仍非常的模糊。它与Linux Container是什么关系，它是否能像Linux Container那样为任务提供一个隔离环境?它代表计算资源，还是仅仅是一个任务处理进程？本文将尝试介绍Container这一概念。 步骤1：用户将应用程序提交到ResourceManager上；
Hive参数性能调优
黑曼巴
06-07 8972
yarn.nodemanager.resource.memory-mb 65536 --设置nodemanager分配给yarn的可用内存 yarn.nodemanager.resource.cpu-vcores 40 --设置nodemanager分配给yarn的可用虚拟CPU yarn.nodemanager.vmem-pmem-ratio 2.1 --虚拟内存比例 yarn.scheduler.maximum-allocation-mb 65536 .
YARN 内存参数终极详解
张伟的专栏
07-10 835
YARN 内存参数终极详解
hadoop生产调优之Hadoop-Yarn 生产经验（参数调优）
ztx22555的博客
12-25 1297
hadoop生产调优之Hadoop-Yarn 生产经验（参数调优）
Hadoop YARN资源分配与调度优化研究
在Hadoop发展过程中，YARN（Yet Another Resource Negotiator）作为Hadoop的资源管理器，负责资源分配和调度，旨在提高集群的资源利用率和整体性能。 Hadoop的MapReduce计算框架简化了大规模数据集的处理，通过将...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值