SparkSql中join和shuffle知识点梳理

最新推荐文章于 2023-12-30 11:04:31 发布
最新推荐文章于 2023-12-30 11:04:31 发布
阅读量227 收藏 1
点赞数
分类专栏： spark源码精读分析系列 文章标签： spark 大数据 分布式 数据仓库 sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoluobutou/article/details/129044929
版权
本文详细探讨了SparkSQL中的join实现，包括SortMergeJoinExec、ShuffledHashJoinExec等六种方式，并解析了shuffle机制，指出shuffle并非join必然伴随的操作。同时，文章解释了shuffleManager、ShuffleWriter和ShuffleReader的角色，并澄清了hash shuffle与hash join的关系。
摘要由CSDN通过智能技术生成

sparksql中有一些容易混淆的概念，大家在面试时也会经常被问到join和shuffle相关的问题：

  • 说说join的几种实现

  • 说说shuffle的实现

  • join操作一定发生shuffle吗？

  • spark shuffle 2.0以上已经不用hash shuffle了，那join的时候还用hash join 么？

  • ...

想要弄清楚这些，就得搞清楚sparksql中join的具体实现有哪些？shuffle又有哪些？他们之间的关系又是什么？

sparksql中的join

BaseJoinExec是sparksql中join实现的基类。

sparksql中，join有六种实现方式：

  • SortMergeJoinExec

  • ShuffledHashJoinExec

  • BroadcastHashJoinExec

  • BroadcastNestedLoopJoinExec

  • CartesianProductExec

具体特点及分发类型如下图：

最低0.47元/天 解锁文章
小萝卜算子
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【Spark】Spark的Shuffle机制
Jason Ding的专栏
07-14 2563
MapReduce中的Shuffle在MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。 Shuffle是MapReduce框架中的一个特定的phase，介于Map phase和Reduce phase之间，当Map的输出结果要被Reduce使用时，
SparkSQL大数据实战：揭开Join的神秘面纱
weixin_34306446的博客
06-01 654
本文来自 网易云社区 。   Join操作是数据库和大数据计算中的高级特性，大多数场景都需要进行复杂的Join操作，本文从原理层面介绍了SparkSQL支持的常见Join算法及其适用场景。 Join背景介绍 Join是数据库查询永远绕不开的话题，传统查询SQL技术总体可以分为简单操作（过滤操作-where、排序操作-limit等），聚合操作-groupby以及Join操作等。其中Join操...
SparkSQL join
weixin_72649242的博客
12-18 1598
SparkSQL join_type
Spark SQL Join机制
u012573226的专栏
03-24 1668
spar sql join
spark join shuffle 数据读取的过程
gaoshui87的专栏
10-18 1528
spark join shuffle 数据读取的过程在spark中，当数据要shuffle时，这个拉取过程RDD是怎么和ShuffleMapTask 关联起来的。 在CoGroupedRDD通过调用如下函数去读取指定分区的数据 SparkEnv.get.shuffleManager .getReader(shuffleDependency.shuffleHandle, split.in
吐血整理出来的大数据知识点，你掌握多少？
啊晨
08-28 2455
文章目录写在前面正片语言工具类Java实现线程的两种方式集合List集合ArrayListLinkedListSet集合HashSet二叉查找树TreeSetLinkedHashsetMap集合TreeMapHashTableJVM方法区：（被加载的信息，常量，静态变量编译后的代码等数据）虚拟机栈:（java方法服务，储存局部变量方法出口等）本地方法栈堆（对象实例创建，垃圾回收操作）程序计数器Java自带哪几种线程池？（4）HashMap和HashTable区别TreeSet和HashSet区别String
大数据各框架的原理与知识点
sky
04-03 3647
以下是根据自己的总结和梳理,建议入过门大数据的人看.写的很片面,没有图片,我仅仅想把握学的东西梳理下. Hadoop篇 数据仓库 数据仓库,简写DW,是为企业级所有级别的决策制定过程,提供所有类型数据支持的战略集合.是单个数据存储,处于分析性报告和决策支持的而创建. HDFS原理 客户端将数据上传到DateNode,然后通过硬盘(数据节点)的水平复制功能,达到冗余度的要求.而主节点N...
数据中台建设方案-基于大数据平台
2301_76549664的博客
03-14 4404
通过对客户大数据应用平台服务需求的理解，根据建设目标、设计原则的多方面考虑，建议采用星环科技Transwarp Data Hub（TDH）大数据基础平台的架构方案，基于Transwarp Operating System（简称TOS）云平台方式部署构建。 通过建立大数据集成平台、大数据计算平台、大数据开发平台及大数据运维平台来满足客户大数据应用平台服务建设的要求。
Spark的shuffle调优
12-19
spark.reducer.maxSizeInFlight 48m reduce task的buffer缓冲，代表了每个reduce task每次能够拉取的map side数据最大大小，如果内存充足，可以考虑加大，从而减少网络传输次数，提升性能 spark.shuffle.blockTransferService netty shuffle过程中，传输数据的方式，两种选项，netty或nio，spark 1.2开始，默认就是netty，比较简单而且性能较高，spark 1.5开始nio就是过期的了，而且spark 1.6中会去除掉 spark.shuffle.compress true 是否对map side输出的文件进行压缩，默认是启用压缩的，压缩器是由spark.io.compression.codec属性指定的，默认是snappy压缩器，该压缩器强调的是压缩速度，而不是压缩率
Spark性能优化总结（建议收藏）
lin123_00的博客
08-30 960
近期优化了一个spark流量统计的程序，此程序跑5分钟小数据量日志不到5分钟，但相同的程序跑一天大数据量日志各种失败。经优化，使用160 vcores + 480G memory，一天的日志可在2.5小时内跑完，下面对一些优化的思路方法进行梳理。 优化的目标 保证大数据量下任务运行成功 降低资源消耗 提高计算性能 三个目标优先级依次递减，首要解决的是程序能够跑通大数据量，资源性能尽量进行优化。 基础优化 这部分主要对程序进行优化，主要考虑stage、cache、partition等方面。 我的官方
大数据技术架构(组件)33——Spark：Spark SQL--Join Type
sysocc的博客
02-12 694
1.5、如果用户没有指定任何Join Hint，那么就根据Join的策略Broadcast Hash Join ---> Shuffle Hash Join --> Sort Merge Join ---> Cartesian Product Join --> Broadcast Nested Loop Join顺序选择Join策略。当然用户也可以手动选择策。1、Shuffle阶段：对两个表参与Join的keys使用相同的分区算法和分区数进行分区，目的就是为了保障相同的key都分配到相同的分区里面。
[sparkSQL] Shuffle
最新发布
言之。
12-30 1万+
请注意，Shuffle 操作是开销较大的操作，因为它涉及数据的物理移动和网络通信。在 Spark 中，尽量减少 Shuffle 操作可以提高性能。可以通过合理设计数据分区、使用广播变量、使用合适的数据结构等方式来减少 Shuffle 的发生。在Spark SQL中，Shuffle 是指将数据重新分布到不同的节点上以进行处理的操作。
Spark-core-问题记录：join shuffle
T_Janey
07-03 872
1、partitionBy：当hashCode为负时，抛异常：java.lang.ArrayIndexOutOfBoundsException， at org.apache.spark.shuffle.sort.BypassMergeSortShuffleWriter.write(BypassMergeSortShuffleWriter.java:151) 2、rdd.part...
Spark 中join一定产生shuffle吗？
大数据技术分享
04-22 852
产生shuffle的原因 其根本原因在于数据需要进行迁移才能产出正确的数据 join什么时候不需要数据迁移就能得出结果？ 当 分区数 和 分区器 是一样的时候 也就是在本地就能完成相关join的操作 所以不需要数据迁移 也就可以不产生shuffle 结论 不一定产生shuffle。 ...
Spark SQL系列------1. Spark SQL 物理计划的Shuffle实现
u012684933的专栏
02-25 7541
Spark SQL物理计划要到Spark-core执行，需要将Spark SQL物理计划转化成RDD，并且建立RDD之间的依赖关系。这个过程可以通过如下图大概表示： 上图中绿色部分指Spark物理计划到RDD过程中数据结构的变迁过程。黄色部分表示变迁过程中，实现加工作用的数据结构。
SparkSQL之ShuffleManager介绍
11号车厢
08-08 743
文章目录
Spark 之 Shuffle
zhixingheyi_tian的博客
06-03 2123
shuffle
sparkSQL执行join消耗的内存怎么计算
05-13
SparkSQL执行join消耗的内存可以通过以下几个方面来计算： 1. Spark的内存管理机制：Spark使用内存管理机制来管理内存。内存被分成多个区域，每个区域都有一个特定的用途。例如，缓存区域用于缓存RDD的数据，执行区域用于执行任务，存储区域用于存储数据等等。通过监控这些区域的使用情况，可以了解SparkSQL执行join消耗了多少内存。 2. SparkSQL的执行计划：在执行SQL语句时，Spark会生成一个执行计划。执行计划描述了Spark执行任务的方式，包括哪些任务需要执行，任务之间的依赖关系，以及任务需要使用多少内存等等。通过分析执行计划，可以了解SparkSQL执行join消耗了多少内存。 3. Spark的监控工具：Spark提供了一些监控工具，可以用于监控SparkSQL执行join时的内存使用情况。例如，可以使用Spark的Web UI来查看内存使用情况和任务执行情况，并通过这些信息来计算SparkSQL执行join消耗了多少内存。 需要注意的是，SparkSQL执行join消耗的内存大小会受到多个因素的影响，例如数据量的大小、机器的配置、执行计划的优化等等。因此，需要综合考虑多个因素来计算SparkSQL执行join消耗的内存大小。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小萝卜算子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值