Shuffle调优二：调节reduce端拉取数据缓冲区大小

最新推荐文章于 2022-10-14 09:56:41 发布
最新推荐文章于 2022-10-14 09:56:41 发布
阅读量707 收藏
点赞数
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37294838/article/details/91410062
版权

Spark Shuffle过程中，shuffle reduce task的buffer缓冲区大小决定了reduce task每次能够缓冲的数据量，也就是每次能够拉取的数据量，如果内存资源较为充足，适当增加拉取数据缓冲区的大小，可以减少拉取数据的次数，也就可以减少网络传输的次数，进而提升性能。

reduce端数据拉取缓冲区的大小可以通过spark.reducer.maxSizeInFlight参数进行设置，默认为48MB，该参数的设置方法

val conf = new SparkConf().set("spark.reducer.maxSizeInFlight", "96")

 

ITBOY_ITBOX
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce：Combiner与Shuffle阶段之Reducer输入
Jodness' Blogs
05-27 971
目录 Combiner Reducer的输入 过程概述 源码分析 ReduceTask总览 数据抓取 合并排序 Combiner 网络I/O会限制MR作业的数量，因此尽量避免mapper和reducer任务之间的数据传输是有利的。在之前Shuffle阶段之Mapper输入中可以看到，会调用两次Combiner。 在驱动类中可以通过Job.setCombinerClass(...
Shuffle调优调节map端缓冲区大小_大数据培训
zjjcchina的博客
10-20 280
在Spark任务运行过程中，如果shuffle的map端处理的数据量比较大，但是map端缓冲的大小是固定的，可能会出现map端缓冲数据频繁spill溢写到磁盘文件中的情况，使得性能非常低下，通过调节map端缓冲的大小，可以避免频繁的磁盘IO操作，进而提升Spark任务的整体性能。map端缓冲的默认配置是32KB，如果每个task处理640KB的数据，那么会发生640/32 = 20次溢写，如果每个task处理64000KB的数据，机会发生64000/32=2000此溢写，这对于性能的影响是非常严重的。
apReduce：详解Shuffle过程
follweme888的专栏
06-24 263
MapReduce：详解Shuffle过程 ...
mapreduce原理全剖析map+shuffle+reducer 全部过程
请叫我架构师，谢谢！
04-15 3808
1.mapreduce原理全剖析map+shuffle+reducer  全部过程        wordcount为例      1.mapper开始运行，调用InputFormat组件读取文件逻辑切片（逻辑切片不是block块，切片大小默认和block块大小相同）      2.经过inputformat组件处理后，文件以的形式进入我们自定义的mapper逻辑
【Spark四十七】Hadoop Map Shuffle Reduce的过程
bit1129的博客
02-07 295
深入Spark Shuffle之前，首先总结下Hadoop MapReduce的Shuffle过程，了解了Hadoop MR的shuffle过程，有助于对Spark的Shuffle过程的理解   Hadoo MapReduce的Shuffle总体流程图   问题：下图中Map端的parttion sort and Spill to disk的一个矩形框分成3块表示什么意思？ 在spi...
【Spark调优篇03】Spark之Shuffle调优1
08-04
**调优二：调节reduce端拉取数据缓冲区大小** 在Shuffle过程中，reduce端的缓冲区大小决定了每次可以从map端拉取的数据量。增大这个值（如通过`spark.reducer.maxSizeInFlight`参数设置）可以减少网络传输的次数，...
sparkshuffle原理、shuffle操作问题解决和参数调优.doc
10-07
在 Map 端操作中，Map 任务会将输出结果存储在缓冲区中，当缓冲区快满时，需要将缓冲区的数据以一个临时文件的方式存放到磁盘，然后等待 Reduce 任务来拉取数据。这个过程被称为 Spill 过程。在 Spill 过程中，整个...
spark shuffle原理
最新发布
04-21
- 数据拉取过程中，可能涉及多个小文件，reduce端会进行merge操作，将这些小文件合并成更大的文件。 - 合并后的数据按照键进行排序，以便同一键值的数据聚集在一起，这为后续的reduce计算提供了便利。 - Reducer...
MapReduce详解Shuffle过程
03-16
在map端，map task将输出结果存储在内存缓冲区中，当缓冲区快满的时候将缓冲区的数据以一个临时文件的方式存放到磁盘，然后对磁盘中这个map task产生的所有临时文件做合并，生成最终的正式输出文件。 在reduce端，...
详解shuffle过程
12-30
3. map 端的缓冲区存储着 map 的输出结果，当缓冲区快满的时候需要将缓冲区的数据以一个临时文件的方式存放到磁盘， 4. 当整个 map task 结束后再对磁盘中这个 map task 产生的所有临时文件做合并，生成最终的正式...
MapReduce 和Shuffle 过程
weixin_39915444的博客
10-16 935
https://segmentfault.com/a/1190000037645246 大数据系列（四）之 MapReduce过程及shuffle详解-博客 Hadoop学习之路（十三）MapReduce的初识 - 扎心了，老铁 - 博客园 MapReduce 架构: 在MapReduce中，用于执行MapReduce任务的机器角色有两个：JobTracker和TaskTracker。其中JobTracker是用于调度工作的，TaskTracker是用于执行工作的。一个Hadoop集群中只有一台Jo
大数据处理 — 浅析MapReduce之shuffle
阿亮的博客
03-05 1050
浅析MapReduce -> shuffleshuffle的意思就是洗牌，它是MapReduce的核心，也是被称为奇迹发生的地方，因为MapReduce玩的就是洗数据，然后让数据出现在该出现的位置.官方描述的shuffle过程，我们不太可能明白shuffle的过程，因为它与事实相差挺多的，细节也是错乱的. 我们现在这样理解就可以了， shuffle描述着数据从map task输出到reduc...
MapReduce工作原理（完结）
又小雨的博客
07-06 967
一、环形缓冲区 1.缓冲区概念 在MapTask执行自定义的计算的过程中需要执行context.write进行 输出 ，他不是直接就把结果存在了硬盘上，而是会先存在内存中 ，当都达到了 一定的条件后才会向硬盘中写文件。存在内存中的这个 区域就叫做缓冲区 缓冲区是一块内存空间，默认大小 是100M，对自定义Mapper中context.write输出进行临时存储，mapper的输出会先被计算分区编号，然后连同mapper输出的key-value一同放入环形缓冲区，当环形缓冲区存储比率达到80%的时候，会触发溢
故障排除控制reduce端缓冲大小以避免OOM_大数据培训
zjjcchina的博客
10-14 211
虽然说增大reduce端缓冲区大小可以减少拉取次数，提升Shuffle性能，但是有时map端的数据量非常大，写出的速度非常快，此时reduce端的所有task在拉取的时候，有可能全部达到自己缓冲的最大极限值，即48MB，此时，再加上reduce端执行的聚合函数的代码，可能会创建大量的对象，这可难会导致内存溢出，即OOM。reduce端拉取数据的缓冲区减小，不容易导致OOM，但是相应的，reudce端的拉取次数增加，造成更多的网络传输开销，造成性能的下降。注意，要保证任务能够运行，再考虑性能的优化。
深入理解Spark 2.1 Core （十一）：Shuffle Reduce 端的原理与源码分析
02-24 4062
http://blog.csdn.net/u011239443/article/details/56843264 在《深入理解Spark 2.1 Core （九）：迭代计算和Shuffle的原理与源码分析 》我们讲解了，以传统Hadoop MapReduce类似的从HDFS中读取数据，再到rdd.HadoopRDD.compute便可以调用函数f，即map中的函数的过程。在《深入理解Spark ...
reduce端shuffle
weixin_39950222的博客
09-08 931
https://blog.csdn.net/lb812913059/article/details/79899798 https://www.cnblogs.com/gzshan/p/11161944.html Reduce端shuffle Reduce端的shuffle主要包括三个阶段，copy，sort(merge)，reduce Map的输出文件放置在运行MapTask的NodeMan...
Shuffle阶段详细解读
tianqinglei的博客
09-02 7907
Shuffer阶段说明 shuffle阶段主要包括map阶段的combine、group、sort、partition以及reducer阶段的合并排序。Map阶段通过shuffle后会将输出数据按照reduce的分区分文件的保存，文件内容是按照定义的sort进行排序好的。Map阶段完成后会通知ApplicationMaster，然后AM会通知Reduce进行数据的拉取，在拉取过程中进行r
调节reduce端拉取数据缓冲区大小_尚硅谷大数据培训
zjjcchina的博客
07-28 241
SparkShuffle过程中，shufflereducetask的buffer缓冲区大小决定了reducetask每次能够缓冲的数据量，也就是每次能够拉取的数据量，如果内存资源较为充足，适当增加拉取数据缓冲区的大小，可以减少拉取数据的次数，也就可以减少网络传输的次数，进而提升性能。代码清单2-8reduce端数据拉取缓冲区配置。...
MapReduce知识点
ziania_cumt的博客
04-16 312
MapReduce知识点
Spark Shuffle机制详解：对比MapReduce与SortShuffleManager
1. **MapTask端操作**：Map任务的输出被存储在一个内存缓冲区，当缓冲区接近满载（默认100MB）时，数据会被溢写到磁盘，并在Map任务完成后进行排序和合并。 2. **Spill过程**：当内存达到溢写比例（默认0.8）时，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值