Spark yarn模式下的资源分配配置

最新推荐文章于 2024-08-01 19:34:14 发布
最新推荐文章于 2024-08-01 19:34:14 发布
阅读量1.2k 收藏
点赞数
分类专栏： Spark Spark学习随笔 文章标签： 资源分配
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yolohohohoho/article/details/90115131
版权
本文介绍了Spark在YARN模式下的资源分配配置，包括Spark默认配置文件spark-defaults.conf中的属性设置。重点讨论了YARN的client和cluster两种部署模式，以及Application Master（AM）在不同模式下的运行差异。此外，还提到了执行器容器的资源配置，如executor的内存和CPU核心数，并强调了动态资源分配的启用与管理。
摘要由CSDN通过智能技术生成

Spark on YARN模式下的资源分配配置

前言

Spark on YARN模式下的主要资源为CPU和内存。
Spark资源分配配置在spark-defaults.conf中设置，其属性配置一般以 ***spark***开头，类似于spark.xx.xx。

Spark on Yarn中的两种部署模式

一般来说，YARN上启动Spark应用程序主要有两种模式：client模式和cluster模式

  • 在yarn-client模式下，驱动程序在客户端进程中运行，而Application Master 仅用于从YARN请求资源。
  • 在yarn-cluster模式下，Spark驱动程序Application Master 内运行，该进程由群集上的YARN管理，客户端可以在启动应用程序后退出。

关于Application Master (AM)的配置

yarn-client

属性名 默认值 描述
spark.yarn.am.memory 512m 在Client模式下用于YARN Application Master的内存量，格式与JVM内存字符串相同（例如512m，2g）。
在Cluster模式下，请改用spark.driv
最低0.47元/天 解锁文章
Lestat.Z.
关注
专栏目录
Spark需要的资源调优（Yarn Cluster模式）
SunnyRivers
04-01 555
Spark应用程序是粗粒度的，也就是说在提交的时候就得规划好需要多少资源，设定了不合适的资源也会影响整体性能。yarn.nodemanager.resource.memory-mb 每个nodemanager分配的内存，也就是该节点上YARN可使用的物理内存总量。官方。
Spark-Yarn模式|配置历史服务|运行流程|端口号总结
SmallScorpion
04-16 1948
解压改名 tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module/ mv spark-2.1.1-bin-hadoop2.7/ spark-yarn 修改hadoop配置文件/opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任...
Spark的这些事(五)—Spark on yarn 动态资源配置
数据一哥，公众号：数据社
04-12 6453
一、YARN的配置 首先需要对YARN进行配置，使其支持Spark的Shuffle Service。修改每台集群上的yarn-site.xml： - 修改 <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle,spark_shuffle</value> </property> - 增加 <pro
spark性能调优：资源优化
purisuit_knowledge的专栏
07-08 674
转载： 在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很 多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数 设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进 而导致各...
（四十一）大数据实战——spark的yarn模式生产环境部署
最新发布
厉害哥哥的博客
08-01 896
Spark 是一个开源的分布式计算系统。它提供了高效的数据处理能力，支持复杂的数据分析和处理任务，是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。Spark SQL：是Spark用来操作结构化数据的程序包。
Spark on Yarn模式下的资源分配
weixin_46628206的博客
03-30 726
Spark程序以Hadoop Yarn作为集群管理器时，运行时所需资源的分配完全由Hadoop Yarn 进行管理，相关的配置参数也分成Spark本身以及Hadoop Yarn两部分。 以下配置以Spark-1.6.0和Hadoop 2.6.0为标准，部署模式为yarn-cluster。(client模式下个别参数会有区别 主要是涉及到driver的参数应该替换为am) Spark配置参数 内存配...
YARN上Spark的资源分配配置
danpu0978的博客
04-24 801
在此博客文章中，我将解释YARN上Spark的资源分配配置，描述yarn-client和yarn-cluster模式，并包括示例。 Spark可以在YARN中请求两个资源：CPU和内存。 请注意，用于资源分配的Spark配置在spark-defaults.conf中设置，名称类似于spark.xx.xx。 其中一些具有客户端工具的相应标志，例如spark-submit / spark-...
spark on yarn 完全分部署_Spark最佳实践之如何有效分配资源
weixin_39886469的博客
11-19 143
一个企业的大数据系统通常由三层构成：底层基础设施、大数据平台、数据智能化应用。随着云计算的发展，大多数中小型企业越来越依赖云厂商提供的服务来构建自己的大数据平台，而不再自己维护底层基础设施。比如，我们公司目前主要使用AWS EMR服务来构建Spark系统。EMR可以帮助我们根据需要快速建立一个Spark集群，让我们从底层机器的维护、集群的部署等繁杂的工作中解放出来，更多的关注在应用层。基于EMR构...
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
10-28
在提交Spark任务前，需要配置Spark的相关属性，如`spark.master`设置为`yarn-client`或`yarn-cluster`，前者用于客户端模式，后者用于集群模式。此外，还需指定Hadoop的配置目录，例如`spark.yarn.conf.archive`。 ...
关于spark yarn模式下的常用属性
Lestat.Z.的博客
05-11 3424
前言 整理了spark官网提供的一些常用的spark属性。 Spark属性 属性名 默认值 描述 spark.yarn.am.memory 512m 在Client模式下用于YARN Application Master的内存量，格式与JVM内存字符串相同（例如512m，2g）。在Cluster模式下，请改用spark.driver.memory。使用小写后缀，例如 k，m，g，t和...
spark on yarn运行机制和资源分配
weixin_30920091的博客
03-12 224
http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-resourcemanager-nodemanager/ http://blog.csdn.net/xiangxizhishi/article/details/79102860 https://www.cnblogs.com/wonglu/p/84...
spark on yarn资源配置
dymkkj的专栏
05-27 309
集群 spark on yarn , spark允许yarn集群之上，资源【cpu,内存】划分从yarn集群进行分配 spark相关资源设置 # 开启动态资源分配 spark.dynamicAllocation.enabled = true spark.shuffle.service.enabled = true # 动态资源分配时，每个driver分配最小executor spark.dynamicAllocation.minExecuto
Spark在Yarn上的动态资源分配
ksh的博客
09-20 2405
参考地址：http://spark.apache.org/docs/1.5.2/job-scheduling.html#configuration-and-setup 1.配置hadoop/etc/yarn-site.xml   yarn.nodemanager.aux-services   mapreduce_shuffle,spark_shuffle   yar
spark任务在yarn中的资源分配
welcome to zdsg's csdn
11-02 1008
yarn中spark任务的资源分配 监控页面: master://8088 所占内存总大小: 参数如下图: 实际情况中，应用程序申请到的资源量一定大于所申请的资源量 例如：spark driver指定内存 2g，executor指定内存 2g*3 合计应该是8192M内存 但实际上分配的内存或许为 12288M 等，为何会出现这样的情况？ 因为由JVM自身的开销，并且还涉及到一个名词——规整化因子 并且yarn的不同任务调度模式下的资源分配总理的计算方式是不同的 规整化因子关于内存的默认配置: ya
关于 Spark on Yarn 的资源分配与 Capacity Scheduler 的研究
Laurence的技术博客
06-18 2895
文章目录1. 启用Capacity Scheduler2. 集群信息与配置2.1. yarn.nodemanager.resource.xxx2.2. yarn.scheduler.minimum/maximum-xxxx3. Spark on Yarn的内存模型4. user-limit-factor：单用户时提升资源利用率的重要因子5. 规整化因子6. 测试队列资源划分方案7. 测试计划7.1. 用例一7.2. 用例二7.3. 用例三7.2. 用例四8. 小结 资源调度永远是一个对立统一的问题，在一个限
Spark On YARN内存和CPU分配
萌兔兔MMQ！！
09-11 883
所以每个节点可以分 5.5G/ 2 = 2.75G ，所以最大只能2.75G，内存，而且NodeManager申请的资源只能是512M的整数倍，所以最大是2.5G，那么executor-memory + max( 384, 0.1 * executor-memory) ~ 2.5G ,那么executor-memory就等于2176；其中，左边是CLient模式，右边是Cluster模式，也就是说其实CLuster模式下，提交任务后，CLient可以离开了，而Client模式下，Client不可以离开；
spark on yarn 原理、资源分配、优化等收集
啊_汤哥的博客
12-20 602
一、集群使用注意点： 1、跑的任何job，最好都要加上有意义的job name，不要使用默认的名字hive on spark； 2、job应尽可能的少用集群资源达到理想的效果，而不是有多大用多大来提高性能； 二、spark on yarn 原理篇： 参考博客 三、资源分配篇： 参考1 参考2 参考3 参考4 参考5 参考6 参考7 参考8 四、优化篇： spark性能优化：数据倾斜调优 如何通过查...
Spark 各种配置项
zhixingheyi_tian的博客
11-07 2086
/bin/spark-shell --master yarn --deploy-mode client /bin/spark-shell --master yarn --deploy-mode cluster There are two deploy modes that can be used to launch Spark applications on YARN. In cluster m...
Spark 1.2+动态资源分配：提升YARN上SQL开发效率
在传统的Spark On YARN模式下，用户通过设置`--num-executors`、`--executor-memory`和`--executor-cores`来预定义应用程序所需的执行器数量和资源。这种方式可能导致资源浪费，因为即使用户在没有实际执行任务时，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值