spark常用的调参详解

最新推荐文章于 2024-07-29 20:37:45 发布
最新推荐文章于 2024-07-29 20:37:45 发布
阅读量1.9k 收藏 4
点赞数
分类专栏： hadoop 文章标签： spark submit 参数设置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41804049/article/details/85329388
版权
本文详细讲解了如何在Spark提交任务时以及代码中进行参数设置，包括shuffle传输服务选择、字段字符串长度限制、广播等待超时时间、禁用GC运行时间限制以及端口重试次数等关键配置，旨在提升Spark作业的性能和稳定性。
摘要由CSDN通过智能技术生成

 1.在submit中设置

在submit中设置注意后面的  \ 

--conf "spark.shuffle.blockTransferService=nio" \   大数据集shuffle的时候，节点之间传输数据时使用netty 改为nio
--conf "spark.debug.maxToStringFields=500"  \     字段的字符串太长了
--conf "spark.sql.broadcastTimeout=1200"  \    广播等待超时时间，单位秒
--conf "spark.executor.extraJavaOptions=-XX:-UseGCOverheadLimit" \  关闭限制GC的运行时间（默认启用 ）
--conf "spark.port.maxRetries=128" \    Spark任务都会绑定一个端口来显示WebUI，默认端口为4040，如果被占用则依次递增+1端口重试，重试次数由参数spark.port.maxRetries=16控制，默认重试16次后就放弃执行

 2.在代码中设置

最低0.47元/天 解锁文章
风是外衣衣衣
关注
专栏目录
Spark MLlib模型训练—分类算法Random forest classifier
08-31 608
随机森林分类器是 Spark MLlib 中常用且高效的集成模型。它通过结合多棵决策树的预测结果，显著提升了模型的稳定性和准确性。在实际应用中，随机森林常用于文本分类、图像识别、金融风控等领域。分类代表算法组合方式适用场景优点缺点Bagging随机森林（Random Forest）、Bagged Decision Trees并行组合高方差模型（如决策树）- 减少过拟合- 模型稳定性高- 支持并行化训练- 对偏差大的基学习器提升有限Boosting序列组合。
spark参数配置
longlovefilm的博客
07-28 1027
参考链接https://spark.apache.org/docs/2.2.0/configuration.html 分类 参数 含义 平台默认值 建议 资源申请&并行度 spark.executor.cores 一个Executor中同时可以执行的task数目（在Executor内存不变的情况下，executor-cores数越大，平.
Spark参数调优详解目录
热门推荐
Deegue
07-12 1万+
Spark参数调优需要对各个参数充分理解，没有一套可以借鉴的参数，因为每个集群规模都不一样，只有理解了参数的用途，调试出符合自己业务场景集群环境，并且能在扩大集群、业务的情况下，能够跟着修改参数才算是正确的参数调优。 本系列文章仅为个人理解与观点，如果任何地方有疑问与错误，欢迎评论指正！ （上次更新时间---2018-09-0515：07） 1、背景 Spark2.2.1版本(现升级到了...
Spark优化总结（三）——调参
蒋含竹的博客
01-04 3340
文章目录Spark优化总结（三）——调参前言简单示例常用参数JVM调参 Spark优化总结（三）——调参 前言 不要期待修改一个参数能够像魔法一样立马得到神奇的好效果！（某些时候效果确实很棒^_^）你应当把参数看作一道菜中的调味品，能够丰富味道，但主要还是得靠原材料的质量与炒菜的技艺。 开发Spark应用时，应当先优化好你的应用代码，再来思考调参优化（必要的参数的除外）。 调参是一个比较复杂的主.........
spark集群环境与任务调参
李永昌的博客
07-06 871
集群环境配置集群环境如下图： 配置信息： master节点配置（spark-env.sh）： 计算节点： jutai（192.168.1.210）配置（spark-env.sh）：（机器硬件为：2个cpu，每个14核。128G内存，4T硬盘） hpcc（192.168.1.213），dell2 (192.168.1.212:50010)配置：未设置！，默认.（机器为4核cpu，
spark性能调优参数总结
08-15
详细讲解了创建spark应用的参数含义以及出现问题对应的调优策略
Spark的基本概念与架构
晓晓的天空
03-10 2518
Spark的基本概念与架构
spark入门到精通
laogong的博客
01-08 1096
1、idea搭建spark开发环境 1）安装jdk 2）安装Scala 3）安装maven 其中pom文件中<scala.version>2.11.0</scala.version>必须设置为项目的scala环境。spark的依赖后缀必须也是也跟这里的scala版本一样 2、对于spark object类型的类，直接拿来用就好了，不用new ...
spark常用参数调优
最新发布
weixin_43597208的博客
07-29 1205
spark常用参数调优
data_processing_course:使用PySpark进行数据处理课程的一些课堂资料
05-14
使用Spark进行数据处理 瓦伦西亚理工大学硕士的高级数据处理课程的材料。 本课程提供了30小时的概述，介绍了使用Spark进行数据处理的许多概念，技术和工具，其中包括来自Apache Beam的一些关键概念。 我们假设您熟悉Python，但是所有练习都可以在Java和Scala中轻松完成。 我们为和包含了Vagrant定义和docker映像。 如果您发现错误或想要发表评论，请或直接。 您可以自由地重复使用课程资料，请遵循详细信息。 结构 A部分-Spark 函数式编程简介 Spark基础知识 PySpark：转换，操作和基本IO Spark SQL MLib 图表 GraphX（Scala） GraphFrames（Python） Spark集群部署 聚类 阿帕奇光束 幻灯片（即将推出） 米尼欧 Apache Airflow：协调工作 基本设定 达格 云作曲家 B部分
Spark调优之 -- Spark资源调优
erainm
10-29 321
1. 调优概述 2. Spark作业基本运行原理 3. 资源参数调优 4. 资源参数参考示例
Spark由于端口号无限增长报错和任务跑完就关闭的解决方案
qq_15300683的博客
04-24 1898
Spark任务都会绑定一个端口来显示WebUI，默认端口为4040，如果被占用则依次递增+1端口重试，重试次数由参数spark.port.maxRetries=16控制，默认重试16次后就放弃执行当有17个app进来会报错，最多能运行16个作业我们工作中，一定要把这个参数调大，一般都好几千spark.eventLog.enabled=true 即使spark任务运行结束，也可以访问sparkUI，...
spark.debug.maxToStringFields错误
qq_21735341的博客
07-27 6490
spark = SparkSession \ .builder \ .config('spark.debug.maxToStringFields', '100')\ .appName("Python Spark SQL data source example") \ .master('local[*]')\ .get...
问题解决：spark.debug.maxToStringFields
枫夜
12-19 1万+
问题场景 使用spark 2.4.0进行统计数据，报错误，错误提示为： WARN Utils:66 - Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.debug.maxToStringFields' in S...
Spark 运行警告：spark.debug.maxToStringFields
weixin_43239554的博客
04-26 2476
spark运行报错 Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting ‘spark.debug.maxToStringFields’ in SparkEnv.conf. 可以设置一个参数.config(“spark.debug....
Spark性能调优案例
epitomizelu的专栏
12-21 3042
在实际工作中，性能调优是必不可少的，虽然业务千种百样，实际落地的解决方案可能也不尽相同，但归根结底，调优的最终目的是使得内存、CPU、IO均衡没有瓶颈。 基本上，思路都是结合实际业务、数据量从硬件出发，考虑如何充分利用CPU、内存、IO。 除了对业务的理解之外，对于Spark本身的机制也要深入理解，这样才能通过各种调整，充分发挥Spark的优势，达成调优的目的。 下面以一个案例尝试总结常用的Spark调优思路和实践。 案例数据来源极客时间Spark 性能调优实战，数据地址百度网盘，提取码 ajs6 。 数
Spark.shuffle.io.maxRetries参数
鸭梨的博客
02-24 1148
Spark.shuffle.io.maxRetries 默认值：3 参数说明：shuffle read任务从shuffle write任务那里节点正在拉自己的数据，如果网络由于异常拉失败而失败，它将自动重试。 此参数表示可以重试的最大次数。 如果在指定的次数内进行或不成功，则可能导致作业失败。 调优建议： 对于那些包含耗时的shuffle的作业，建议增加最大重试次数（例如60次），以避免由于诸如JVM或网络的完整gc之类的因素而导致数据失败。 不稳定。 在实践中发现，对于大量数据（数十亿到数十亿的shuf
spark和hive常用调优参数(具体需根据数据来确定大小)
vikings_lau的博客
05-19 683
- 触发 广播join 的 大小 控制 , 这里写了1G , 非必要 这里够大了, 一般调整100M 足以 (维度表)-- 每个executor内存大小,默认512m ,这里得依据yarn 实际大小限制配额做调整。-- 每个executor使用的CPU核数，默认为1。-- 以下语句必须配置在 右侧 环境参数中 才生效。-- ##启动的executor的数量，默认为1。
Spark常用操作详解：从基础到高级功能
在这个标题下，我们将会深入探讨 Spark 的常用操作，这些操作对于理解和入门 Spark 编程至关重要。 1. **RDD 基本转换：** - `map(func)`：这是最基本的数据转换操作，它将 RDD 中的每个元素应用用户自定义函数 `...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值