Spark Shuffle未优化及优化后 hash shuffle sort shuffle（一）

最新推荐文章于 2022-04-30 16:23:29 发布
最新推荐文章于 2022-04-30 16:23:29 发布
阅读量116 收藏
点赞数 1
分类专栏： 大数据 spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43597431/article/details/119964092
版权

 起初spark向hadoop看齐，根据key的hash值往外溢出文件，每个task都分成3种类别的数据，把不同类别的数据汇聚计算最终的结果，reducer会根据分区号找到自己类别的数据汇聚成一个大的集合。
缺点：每个map溢出的文件之间不互通，任务有多少个reduce就要开放多少个reduce溢出文件，导致设置分区数越大，消耗的物流空间越大，大量的溢出文件容易造成OOM

 优化后的shuffle使用合并机制，复用buffer，hash算法会根据key进行分类，同一个进程中把相同的key放在同一个buffer中，这样溢出文件之间是互通的，他们只会按照自己的分区溢出到同一个文件当中

神龙龙
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Spark系列】：shuffle调优
hxcaifly的博客
01-01 622
1.前言 Spark 基于内存进行计算，擅长迭代计算，流式处理，但也会发生shuffle 过程。shuffle 的优化，以及避免产生 shuffle 会给程序提高更好的性能。因为 shuffle 的性能优劣直接决定了整个计算引擎的性能和吞吐量。 在spark-1.6版本之前，一直使用HashShuffle，在spark-1.6版本之后使用Sort-Base Shuffle，因为HashShuffl...
SparkShuffle解析
weixin_42051673的博客
11-11 1259
Spark两种核心Shuffle： HashShuffle SortShuffle 一、HashShuffle 1.未经优化的HashShuffle 在shuffleWrite阶段，也就是上层，每个task都会根据key进行hash划分，从而让相同hash值的key进入同一个blockfile文件，以供shuffleRead阶段的task拉取（溢写到磁盘形成blockfile之前，会先写入内存缓冲区中，填满后才可以溢写）。而blockfile的个数取决于下一个stage有多少个task，下游.
Spark Shuffle未优化及优化后 hash shuffle sort shuffle（二）
qq_43597431的博客
08-28 156
在该模式下，数据会写入一个数据结构，reduceByKey写入map，一边通过map局部聚合，一边写入内存。达到一定阈值会将内存数据写入磁盘，清空内存结构。在溢写磁盘之前会根据key进行排序，排序后会分批写入磁盘中。一个task会产生多个临时文件，最后再每个task中将所有的临时文件进行合并，也就是一个task的所有数据都在这一个文件中，同时单独写一份索引文件，标识下游各个task的数据在文件中的索引start offset 和end offset 触发机制：shuffle reduce...
spark的sortshuffle和hashshuffle
epitomizelu的专栏
06-22 1500
一，hashshuffle 最早引入的shuffle机制，2.0已经被弃用。 运行时步骤： 1，spark根据key将结果hash到不同buffer； 2，map完成后buffer溢写到磁盘文件，一个buffer一个文件； 3，task拉取小文件； 问题： 1，使用大量小文件，io频繁； 2，使用大量buffer内存，易出现oom。 优化后的hashshuffle： 同一个task相同的hash共用一个buffer，减少了小文件的数量，但还是会占用大量内存，由此催生出了sortshuffle。
关于Spark2.0X版本后为什么弃用hashShuffle采用sortShuffle的理解
攻城狮Kevin
04-11 1176
Spark2.0X版本前，使用的是hashShuffle和优化过后的hashShuffle两种模式， Spark2.0X版本后，开始使用sortShuffle和bypass模式下的sortShuffle两种模式， 那么为什么从Spark2.0X版本开始要弃用hashShuffle模式呢？ 个人理解如下： 在Spark中Executor的一个core一次性只能处理一个task的数据， 在S...
Spark Shuffle优化-参数调优1
08-08
Shuffle 操作是 Spark 中最耗时的操作之一，而 shuffle 优化是Spark 优化的关键。 本文将对 Spark Shuffle 优化的参数进行详细的介绍。 spark.reducer.maxSizeInFlight Spark 的 reducer 任务的 buffer 缓冲大小...
Spark 的两种核心 Shuffle 详解.pdf
10-08
Spark Shuffle 分为两种：一种是基于 Hash 的 Shuffle；另一种是基于 Sort 的 Shuffle。
Spark-shuffle机制.pdf
08-18
- shuffle map task数量小于spark.shuffle.sort.bypassMergeThreshold（默认200）。 - 不是排序类的shuffle算子。 - 每个下游task创建一个临时磁盘文件，数据按照key的hash值写入对应的文件。 - 写入磁盘前先...
spark shuffle简介
最新发布
08-16
3. **Spark 1.4.0**：虽然Hash-based Shuffle仍然是默认方式，但Spark开始尝试优化Shuffle，引入了Sort-based Shuffle。这种方式在写入阶段就对数据进行了排序，使得相同键值的数据在同一块中，减少了Shuffle过程中...
spark原理示意图，执行计划，shuffle，架构，检查点，缓存，广播
05-05
为了优化shuffle过程，Spark使用Hash Shuffling和Sort Shuffling策略，后者通过排序保证了数据的稳定性。 Spark的架构是基于Master-Worker模式，由一个或多个Driver（通常是用户的应用程序）和多个Executor组成。...
优化后的HashShuffleManager
qq_36382679的博客
08-26 161
Spark Shuffle 优化
shan19920501的博客
04-30 3997
Spark Shuffle
Spark Shuffle原理、Shuffle操作问题解决和参数调优
weixin_30800987的博客
10-07 1261
摘要： 1 shuffle原理 　　1.1 mapreduce的shuffle原理 　　　　1.1.1 map task端操作 　　　　1.1.2 reduce task端操作 　　 1.2 spark现在的SortShuffleManager 2 Shuffle操作问题解决 　　 2.1数据倾斜原理 2.2 数据倾斜问题发现与解决 2...
优化后的shuffle操作的原理剖析（二）
yrsg666的博客
08-27 193
首选我们有上图这样一个job计算，对上图通过DAGScheduler的stage划分之后，我们产生了如下图所示的stage图 在这当中我们可以清楚的看到，前一个stage的shufflemaptask进行shuffle的wirte 操作，把数据存储在了blockmanager上面，并且把数据的元信息上报到driver的mapouttrack组件中，下一个stage根据数据位置元信息，进行shuf...
Clickhouse中使用Bitmap表
qq_43597431的博客
07-08 2626
建表 create table user_tag_merge ( uid UInt64, gender String, agegroup String, favor String )engine=MergeTree() order by (uid); 准备数据 insert into user_tag_merge values(1,'M','90后','sm'); insert into user_tag_merge values(2,'M','70后','sj'); insert i
ERROR: KeeperErrorCode = NoNode for /hbase/master
qq_43597431的博客
07-11 1495
集群正常启动后，hbaseshell中查看表时发现报错了。 1.查看日志发现是zookeeper的问题 2.出现该问题不是hbase本身的问题，而是zookeeper的影响，因为zookeeper是监控整个HBASE节点状态，控制集群通信的重要工具。 3.在zookeeper客户端中 zkCli.sh 删除HBASE的节点数据 deleteall /hbase即可解决 删除完不报错 ...
HBase分区过多的影响
qq_43597431的博客
07-13 548
HBase每张表在底层存储上是由至少一个Region组成，Region实际上就是HBase表的分区。HBase新建一张表时默认Region即分区数量为1，一般在生产环境中我们都会手动给Table提前做预分区，使用合适的分区策略创建好一定数量的分区并使分区均匀分布在不同的regionserver上，一个分区在达到一定大小时会自动Split，一分为二。 频繁刷写:Region的一个列族对应一个MemStore，假设HBase表都有统一的1个列族配置，则每个Region只包含一个MemStore。通常HBas
大白话解释拉链表
qq_43597431的博客
08-28 513
1.拉链表的定义：记录每条信息的生命周期，一旦一条记录的生命周期结束，就重新开始一条记录，并把当前日期放入生效开始日期。 用户ID 姓名 手机号 开始时间 结束时间 1 李四 185****8454 2020-05-12 200-05-12 1 李四 156****5612 2020-05-13 2020-05-16 1 李四 137****1864 2020-05-17 9999-99-99
Scala函数式编程（二）
qq_43597431的博客
03-01 330
函数作为值使用 package com.atguigu.chapter04 object Scala1 { def main(args: Array[String]): Unit = { //TODO 函数式编程 -函数作为对象使用 //函数是scala语言非常重要的语法结构，万物皆函数 //函数在scala中不仅仅是功能的封装，也可以看做对象来用 //1.将函数作为对象赋值给变量 def fun1(): Unit ={ println("f.
Spark Shuffle详解：Stage划分与优化策略
- 普通SortShuffle通常涉及到排序操作，可能导致更高的I/O开销。相比之下，HashShuffle利用哈希函数的特性，避免了排序，减少了数据移动的复杂性和开销。 5. 合并机制： - 优化的HashShuffle引入了合并机制，通过...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值