Spark.reducer.maxSizeInFlight 参数

最新推荐文章于 2022-11-24 17:15:45 发布
最新推荐文章于 2022-11-24 17:15:45 发布
阅读量1.5k 收藏 2
点赞数 1
分类专栏： spark 文章标签： spark shuffle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010711495/article/details/114014208
版权 
Spark.reducer.maxSizeInFlight

默认值：48m
参数说明：该参数用于设置shuffle read任务的buff缓冲区大小，该缓冲区决定一次可以拉取多少数据。

调整建议：如果可用内存资源足够，则可以增加参数的大小（例如96m），从而减少拉取数据的次数，这可以减少网络传输的次数并提高性能。 在实践中发现，合理调整参数后，性能会提高1％至5％。

但是executor内存不足时,设置的太大,就会造成OOM导致宕机

参考

Spark performance optimization: shuffle tuning

鸭梨山大哎
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark的shuffle调优
12-19
spark.reducer.maxSizeInFlight 48m reduce task的buffer缓冲，代表了每个reduce task每次能够拉取的map side数据最大大小，如果内存充足，可以考虑加大，从而减少网络传输次数，提升性能 spark.shuffle.blockTransferService netty shuffle过程中，传输数据的方式，两种选项，netty或nio，spark 1.2开始，默认就是netty，比较简单而且性能较高，spark 1.5开始nio就是过期的了，而且spark 1.6中会去除掉 spark.shuffle.compress true 是否对map side输出的文件进行压缩，默认是启用压缩的，压缩器是由spark.io.compression.codec属性指定的，默认是snappy压缩器，该压缩器强调的是压缩速度，而不是压缩率
spark调优
qq_32253371的博客
02-13 320
sparks调优参数 调优参数虽名目多样，但最终目的是提高CPU利用率，降低带宽IO，提高缓存命中率，减少数据落盘。  不同数据量的最优参数都不相同，调优目的是让参数适应数据的量级以最大程度利用资源，经调优发现并不是所有参数有效，有的参数的效果也不明显，最后折中推荐如下调优参数以适应绝大多数SQL情况，个别SQL需要用户单独调参优化。（以下参数主要用于Spark Thriftserver，仅供参...
Spark参数详解 一（Spark1.6）
weixin_30498921的博客
01-05 133
Spark参数详解 （Spark1.6） 参考文档：Spark官网 在Spark的web UI在“Environment”选项卡中列出Spark属性。这是一个很有用的地方，可以检查以确保属性设置正确。注意，只有通过spark-defaults.conf, SparkConf, 或者 command line配置过的属性才会出现 。对于所有其他配置属性，控制内部设置的大多数属性具有合理的默认值，在没...
shuffle数据参数
萧念的博客
03-01 1535
属性名称 默认值 属性说明 spark.reducer.maxSizeInFlight 48m reduce task的buffer缓冲，代表了每个reduce task每次能够拉取的map side数据最大大小，如果内存充足，可以考虑加大大小，从而减少网络传输次数，提升性能 spark.shuffle.blockTransferService netty...
spark性能调优
永远飞翔的鸟
02-15 197
Spark性能调优之Shuffle调优 转载：https://www.cnblogs.com/haozhengfei/p/5fc4a976a864f33587b094f36b72c7d3.html Spark性能调优之Shuffle调优 •Spark底层shuffle的传输方式是使用netty传输，netty在进行网络传输的过程会申请堆外内存（netty是零拷贝），所以使用了堆外内存...
Spark--Shuffle原理和Shuffle调优
weixin_42946624的博客
11-27 226
shuffle调优配置项如何使用？ 在代码中，不推荐使用，硬编码： new SparkConf().set("Spark.shuffle.file.buffer", "64") 在提交spark任务的时候，推荐使用： spark-submit --conf spark.shuffle.file.buffer= 64 -conf 在conf下的spark-default.conf配置文...
spark.network.timeout参数入门
鸭梨的博客
02-24 7181
默认120s 所有网络交互的默认超时时间。 如果未配置，则将使用此配置代替spark.storage.blockManagerSlaveTimeoutMs，spark.shuffle.io.connectionTimeout，spark.rpc.askTimeout或spark.rpc.lookupTimeout。 用途 若如出现各种timeout，executor lost ,task lost spark.network.timeout 根据情况改成300(5min)或更高 参考 Configurati
Spark性能优化指南——高级篇
美团技术团队
05-12 7946
前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题...
spark调优（一）-开发调优，数据倾斜，shuffle调优
qq_23519469的博客
02-16 232
spark调优（一）-开发调优，数据倾斜，shuffle调优 主要分为开发调优、资源调优、数据倾斜调优、shuffle调优几个部分。 开发调优和资源调优是所有Spark作业都需要注意和遵循的一些基本原则，是高性能Spark作业的基础；数据倾斜调优，主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案；shuffle调优，面向的是对Spark的原理有较深层次掌握和研究的同学，主要讲解了如何对Spark作业的shuffle运行过程以及细节进行调优。 一：开发调优 在开发Spark作业的过程中注意和应用一
Spark 参数说明
Small_Ran的博客
07-02 2688
本篇的主要阐述了Spark 各个参数的使用场景，以及使用的说明与参考；其实主要就是对 Spark 运行过程中各个使用资源的地方，通过调节各种参数来优化资源使用的效率，从而提升Spark作业的执行性能。首先通过大致的 Spark 任务提交流程了解，然后再介绍说明 Spark 各个参数的使用方式，这样更有利于熟悉了解。.........
GEE代码编程影像数据ee.Reducer.txt
08-23
GEE代码编程影像数据ee.Reducer.txt
2.wordcount-Reducer类编写.mp4
11-22
wordcount编写及测试演示 环境是win10+eclipse centos7+hadoop2.7.3 2.wordcount-Reducer类编写.mp4
worm_reducer.rar_减速器
07-14
机械设计课程设计作业，单级蜗杆减速器设计，包含二维图三维图设计数据与效果图片（非原创）
reduxexample.zip
12-08
react安装,action,reducer及store的使用,dispatch触发store,action.js store会返回给到reducer会根据传过来的type返回一个状态,reducer判断postAction.js传过来的有没有FETCH_POSTS这个属性如果有就返回一个新的...
spark 参数调优
chbxw
11-24 599
spark 参数调优
Spark调优（5类调优）
fengge18306的博客
05-22 2197
目录 1、资源调优 1.1、分配更多的资源 1.2、提高并行度 2、开发调优 2.1、RDD的重用和持久化 2.2、广播变量的使用 2.3、尽量避免使用shuffle类算子 2.4、使用高性能的算子 2.5、使用Kryo优化序列化性能 2.6、使用fastutil优化数据格式 2.7、调节数据本地化等待时长 3、基于spark内存模型调优 3.1、spark中executor内存划分 3.2、spark的内存模型 3.3、任务提交脚本参考 4、shuffle相关参...
Spark性能调优
笔尖的痕的专栏
03-10 650
通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。 性能监控工具 【Spark监控工具】 Spark提供了一些基本的Web监控页面，对于日常监控十分有用。 1. Application Web UI http://master:4040（默认端口是4040，可以通过spark.ui.port修改）可获得这些信息：（1）
spark之shuffle参数优化
weixin_42487706的博客
04-18 1068
spark.shuffle.file.buffer 默认32k shuffle write task端的缓冲区，到达阈值后，溢写到磁盘。将数值调大，减少io操作，提升整体性能（具体数值根据实际情况设置）spark.reducer.maxSizeInFlight 默认48M reduce shuffle task端每次拉取的数据大小。将数值调大，降低io带来的性能...
Spark性能优化一之shuffle性能优化
weixin_37789219的博客
10-09 432
shuffle操作是spark中唯一最最消耗性能的地方，会产生大量的磁盘IO（因为map task会将数据先写到bucket缓存中，然后溢写到磁盘文件中去，同时如果reduce task的聚合内存不大时也会溢写到磁盘）,网络IO（因为会导致大量的数据在不同的节点之间进行传输），内存消耗（map task的bucket缓存，reduce task的拉取缓存，reduce task的聚合内存） red...
spark.reducer.maxsizeinflight
最新发布
09-19
spark.reducer.maxSizeInFlight是Spark中一个配置参数，用于控制在shuffle阶段中的同时发送到Reduce任务的数据的最大大小。 在Spark中，shuffle是指将Map任务的输出数据根据key进行重新分区，然后发送给Reduce任务进行合并和处理的过程。在这个过程中涉及到数据的传输和存储，如果Reduce任务需要处理的数据量过大，可能会导致网络拥塞或存储内存不足的问题。因此，通过配置spark.reducer.maxSizeInFlight参数来限制同时发送到Reduce任务的数据的最大大小，从而控制数据传输和存储的压力。 该参数的默认值是48MB。它的单位是字节，可以通过在Spark配置文件或通过编程的方式进行设置。如果某个Map任务的输出数据大小超过了该参数的值，那么这个Map任务会阻塞，等待Reduce任务处理部分数据之后再继续发送剩余数据，以保证Reduce任务能够及时处理和消化数据。 通常来说，较小的spark.reducer.maxSizeInFlight值可以减少网络拥塞和存储内存的压力，但可能会增加整体任务的执行时间；较大的spark.reducer.maxSizeInFlight值可以提高整体任务的执行速度，但可能会导致网络拥塞和存储内存不足的问题。 因此，在实际调优和配置时需要根据具体的场景和资源情况综合考虑，合理设置该参数的值。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值