Spark On YARN相关的配置参数

最新推荐文章于 2024-04-15 14:04:00 发布
最新推荐文章于 2024-04-15 14:04:00 发布
阅读量337 收藏
点赞数
分类专栏： Spark 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41540362/article/details/106418506
版权

关于Spark On YARN相关的配置参数，请参考Spark配置参数。

本文主要讨论内存分配情况，所以只需要关注以下几个内心相关的参数：

  • spark.driver.memory ：默认值512m
  • spark.executor.memory ：默认值512m
  • spark.yarn.am.memory ：默认值512m
  • spark.yarn.executor.memoryOverhead ：值为 executorMemory * 0.07, with minimum of 384
  • spark.yarn.driver.memoryOverhead ：值为 driverMemory * 0.07, with minimum of 384
  • spark.yarn.am.memoryOverhead ：值为 AM memory * 0.07, with minimum of 384

 

  • num-executors 用来设置执行任务的executor的数量
  • executor-cores  这个是设置每个executor并发数的
GM.Francis
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[Spark内存分配]--Spark On YARN内存分配初探(spark-1.6.0版本)
欢迎来到我的博客，一起探索代码里的世界！
11-06 706
前言   不同版本的Spark在yarn模式下的内存分配参数值有一定的差异，但是原理是不变的，本文就spark-1.6.0基于yarn的内存分配来说说为什么这样的问题。参考：https://spark.apache.org/docs/1.6.0/running-on-yarn.htmlhttp://blog.javachen.com/2015/06/09/memory-in-spark-on-ya...
Spark实验：On Yarn模式安装部署（带答案）1
08-03
1. 解压Spark安装包 2. 配置Hadoop生态组件相关环境变量 2. 在 master 节点上，关闭HDFS的安全模式： 3. 在 master 节点上
spark.executor.memoryOverhead
Shockang的博客
07-24 1万+
前言 本文隶属于专栏《Spark 配置参数详解》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见 Spark 配置参数详解 正文 spark.executor.memoryOverhead 在 YARN，K8S 部署模式下，container 会预留一部分内存，形式是堆外，用来保证稳定性，主要存储nio buffer，函数栈等一些开销 这部分内存，你不用管堆外还是堆内，开发者用不到，spark也用不到， 所以不用关心，千万不指望调这个参数去提升性
Spark on Yarn 最佳运行参数调优-计算方式_spark on yarn 调优 nodemanager
最新发布
2401_84264069的博客
04-15 917
或grep ‘physical id’ /proc/cpuinfo | sort -u | wc -l。或者grep ‘processor’ /proc/cpuinfo | sort -u | wc -l。或者grep ‘core id’ /proc/cpuinfo | sort -u | wc -l。HDFS Client有多个并发线程写的问题，HDFS每个Executor的使用5个任。Free -h命令 查看内存信息（人性化显示）worker1: 26 当做25。worker2: 26 当做25。
Spark--Shuffle原理和Shuffle调优
weixin_42946624的博客
11-27 227
shuffle调优配置项如何使用？ 在代码中，不推荐使用，硬编码： new SparkConf().set("Spark.shuffle.file.buffer", "64") 在提交spark任务的时候，推荐使用： spark-submit --conf spark.shuffle.file.buffer= 64 -conf 在conf下的spark-default.conf配置文...
Spark问题和调优
weixin_41347226的博客
06-04 408
1.spark的性能调优问题： 问题1：num-executors，execuor-cores和executor-memory的分配 driver.memory ：driver运行内存，默认值512m，一般2-6G num-executors ：集群中启动的executor总数 executor.memory ：每个executor分配的内存数，默认值512m，一般4-8G executor.cores ：每个executor分配的核心数目 yarn.am.memory ：AppMaster内存，默认值51
SparkOnYarn专题四--cluster模式和client模式资源分配的详解
qq_824203453_的博客
06-13 1万+
  版权声明：本文为博主原创文章，未经博主允许不得转载!! 欢迎访问:https://blog.csdn.net/qq_21439395/article/details/80678493 交流QQ: 824203453   hadoop版本： hadoop 2.8.0  spark版本： spark2.2.0 1.  yarn中容器的资源分配说明 在yarn集群中，对每一个请求的容器...
spark on yarn参数设置
04-25 1551
前言 上次提交任务都是采用默认参数提交的，结果运行时查看计算机状况使用的，没有最大限度的使用到计算机资源，于是这次提交任务就简单的了解了一下参数设置方面的问题，做个简单的记录。本文spark是提交到yarn上执行的，所有仅限于spark on yarn 运行模式。 问题 查看spark官网，提...
Spark On YARN内存分配
豪猪的博客
03-03 757
本文主要了解Spark On YARN部署模式下的内存分配情况，因为没有深入研究Spark的源代码，所以只能根据日志去看相关的源代码，从而了解“为什么会这样，为什么会那样”。说明按照Spark应用程序中的driver分布方式不同，Spark on YARN有两种模式： yarn-client模式、yarn-cluster模式。当在YARN上运行Spark作业，每个Spark executor作为一...
关于yarn的spark配置属性
weixin_33943347的博客
01-04 123
spark1.2.0 These are configs that are specific to Spark on YARN Property Name Default Meaning spark.yarn.applicationMaster.waitTries 10 ApplicationMaster 链接Spark master和SparkCon...
Spark on yarn 内存计算
sunyiyuan1213的博客
08-27 880
1.yarn关键参数配置 1.yarn中单个nodemanager控制container的个数 （1）yarn.nodemanager.resource.memory-mb 作用：该节点分配nodemanager的资源 该节点最大内存划分出来的给nodemanager使用的内存，若物理内存128G,80%可使用，则内存则配置128*0.8，默认是8G，若可用小于8G，则需要修改。 （2）yarn.nodemanager.vmem-pmem-ratio 作用：虚拟内存的比例，默认是2.1，即每使用1G物理内
Spark源码系列（七）Sparkonyarn具体实现
01-30
本来不打算写的了，但是真的是闲来无事，整天看美剧也没啥意思。这一章打算讲一下Spark onyarn的实现，1.0.0里面...在第一章《spark-submit提交作业过程》的时候，我们讲过Sparkonyarn的在cluster模式下它的main clas
Spark on Yarn模式部署.docx
10-03
Spark on Yarn模式部署.docx
Spark on Yarn集群搭建手册
08-29
Spark on Yan集群搭建的详细过程，减少集群搭建的时间
03_MapReduce 和Spark on YARN.docx
02-24
■ 计算框架在Hadoop 中的作用 ■ YARN 的设计目的和基本架构 ...■ Apache Spark 概念 ■ YARN 如何分配集群资源 ■ YARN 如何处理故障 ■ 如何查看和管理YARN 应用程序 ■ 如何访问YARN 应用程序日志
Consider boosting spark.yarn.executor.memoryOverhead
热门推荐
Shockang的博客
07-24 2万+
前言 本文隶属于专栏《Spark异常问题汇总》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见 Spark异常问题汇总 问题描述 spark submit 报错： org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 2.0 failed 4 times, most recent failure: Lost task 0.3 in st
Spark的master和worker之间的通信方式Akka
weixin_41540362的博客
05-29 2261
akka是spark独有的node之间的RPC通信。 RPC主要是用在大型企业里面，因为大型企业里面系统繁多，业务线复杂，而且效率优势非常重要的一块，这个时候RPC的优势就比较明显了。 Spark在很多模块之间的通信选择是Scala原生支持的akka，一个用 Scala 编写的库，用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。 在Spark中的Client，Master和Worker实际上都是一个actor ...
大数据高频面试题-Spark
weixin_41540362的博客
07-09 1367
4.10Spark 4.10.1 Spark有几种部署方式？请分别简要论述 1）Local:运行在一台机器上，通常是练手或者测试环境。 2）Standalone:构建一个基于Mster+Slaves的资源调度集群，Spark任务提交给Master运行。是Spark自身的一个调度系统。 3）Yarn: Spark客户端直接连接Yarn，不需要额外构建Spark集群。有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。 4）Mesos：国内大环境比较.
spark应用转换流程
weixin_41540362的博客
05-29 657
构建Spark Application的运行环境。创建SparkContext后，SparkContext向资源管理器注册并申请资源。这里说的资源管理器有Standalone、Messos、YARN等。事实上，Spark和资源管理器关系不大，主要是能够获取Executor进程，并能保持相互通信。在SparkContext初始化过程中，Spark分别创建作业调度模块DAGScheduler和任务调度模块TaskScheduler(此例为Standalone模式下，在YARN-Client模式下任务调度模块..
spark on yarn 配置具体步骤
04-24
配置Spark on YARN的具体步骤如下： 1. 确认集群环境：检查所有节点上的Java和Hadoop版本是否兼容，并确保每个节点都可以透过SSH访问其他节点。 2. 安装Spark：在每个节点上安装Spark，并确保配置文件路径相同。 3....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值