spark join 算法

已于 2024-10-03 13:29:18 修改
阅读量37 收藏
点赞数
文章标签： spark 大数据 分布式
于 2024-10-03 13:18:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013086392/article/details/142691139
版权

Spark提供了五种执行Join操作的机制，分别是：

Shuffle Hash Join --
	key的哈希值，对两个数据集进行重新分区，使得两个数据集中key的哈希值相同的记录会被分配到同一个executor上
Broadcast Hash Join -- 
	较小的数据集会被广播到所有Spark的executor上，并转化为一个Hash Table，之后较大数据集的各个分区会在各个executor上与Hash Table进行本地的Join，各分区Join的结果合并为最终结果
数据传输流程 data->executor->driver-> broadcast  executor
Sort Merge Join--
	将key相同的记录重分配同一个executor上，不同的是，在每个executor上，不再构造哈希表，而是对两个分区进行排序，然后用两个下标同时遍历两个分区
Cartesian Join
Broadcast Nested Join--
	将一个输入数据集广播到每个executor上，然后在各个executor上，另一个数据集的分区会和第一个数据集使用嵌套循环的方式进行Join输出结果
dian张
关注
Spark中的JOIN机制
Java/Python大数据成长之路
07-16 1388
Apache Spark共提供了五种JOIN机制，其中常用的有三种：Shuffle Hash Join、Broadcast Hash Join及Sort Merge Join，它们都基于Hash Join，只不过需要在Hash Join前后进行Shuffle、Broadcast或Sort实际上，Hash Join算法来自于传统数据库，而Shuffle、Broadcast和Sort是大数据（数据仓库）在分布式场景下两者结合的产物。因此，我们也说大数据（数据仓库）是由传统数据库发展而来的。
join算法整理
曹健的博客
11-08 903
学习doris过程中看到一篇博客https://blog.bcmeng.com/post/doris-colocate-join.html，里面提到了很多种join。 首先，根据sql语法有这些： inner join、full outer join、left join、left semi join、anti join。 常见join算法有这几种： nested loop join：嵌套循环连接，就是用双层for循环。时间复杂度O(A*B)。 hash join：小表join大表时，扫描小表，根据
Spark Join
JH_Zhai的博客
02-28 681
正是因为 NLJ 极低的执行效率，所以在它推出之后没多久之后，就有人用排序、归并的算法代替 NLJ 实现了数据关联，这种算法就是 SMJ。SMJ 的思路是先排序、再归并。具体来说，就是参与 Join 的两张表先分别按照 Join Key 做升序排序。然后，SMJ 会使用两个独立的游标对排好序的两张表完成归并关联。
spark join
a724952091的博客
04-23 226
转： https://www.wangt.cc/2021/02/%e5%a4%a7%e6%95%b0%e6%8d%ae%e5%bc%80%e5%8f%91-spark-join%e5%8e%9f%e7%90%86%e8%af%a6%e8%a7%a3-2/ 数据分析中将两个数据集进行 Join 操作是很常见的场景。在 Spark 的物理计划阶段，Spark 的 Join Selection 类会根 据 Join hints 策略、Join 表的大小、 Join 是等值 Join 还是不等值以及..
【Spark精讲】Spark五种JOIN策略
话数Science
12-16 4674
Spark JOIN详解，Spark五种JOIN策略，Shuffle Hash Join，Broadcast Hash Join，Sort Merge Join，Cartesian Join，Broadcast Nested Loop Join
Apache Spark 怎么选择 JOIN 策略？
Shockang的博客
04-16 1597
前言 本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见大数据技术体系 JOIN JOIN是 Apache Spark 中最常用的操作之一。 编写 JOIN 操作的语法很简单，但后面的内容就复杂了。 Apache Spark 会通过几个算法检查，然后从中选出最好的 JOIN 策略。 如果我们不知道这些内部算法并且不知道 Spark 选择了什么，它可能会使简单的 JOIN 操作变得昂贵。 Spark 怎么选择 Jo
Spark GraphX 算法实例
热门推荐
03-28 6万+
利用GraphX自带的社会网络数据集实例，用户集合数据集存在/usr/local/Spark/data/graphx/users.txt，用户关系数据集存在/usr/local/Spark/data/graphx/followers.txt。静态的PageRank算法运行在固定的迭代次数，动态的PageRank算法运行直到整个排名收敛(eg:通过限定可容忍的值来停止迭代)。PageRank同样可以在图中测量每个顶点的重要性，假设存在一条从顶点u到顶点v的边，就代表顶点u对顶点v的支持。
spark join 及优化
peidezhi的专栏
04-14 2904
一 spark常用的join形式： 1broadcast hash join （小表 大表 join） 1.1）没有加hint, 满足如下条件，也会产生broadcast join： 1）被广播的表需要小于 spark.sql.autoBroadcastJoinThreshold 所配置的值，如果没有配置，则默认是10M。 2）被广播的表不能是基表，比如 left outer join 时，只能广播右表。 如果将 spark.sql.autoBroadc...
Spark MLlib ----- ALS算法
Kayleigh520的博客
01-08 2022
在谈ALS（Alternating Least Squares）之前首先来谈谈LS，即最小二乘法。LS算法是ALS的基础，是一种数优化技术，也是一种常用的机器学习算法，他通过最小化误差平方和寻找数据的最佳匹配，利用最小二乘法寻找最优的未知数据，保证求的数据与已知的数据误差最小。LS也被用于拟合曲线，比如所熟悉的线性模型。下面以简单的线性一元线性回归模型说明最小二乘法。假设我们有一组数据{(x1,y1),(x2,y2),(x3,y3)…}其符合线性回归，假设其符合的函数为如下：y = w+ wx。
Spark Join优化案例：Join Key 远大于 Payload
PAIN的博客
06-30 853
要知道，我们要构建的，是以小时为单位的时序序列，但由于流量的切割粒度非常细致，因此有些种类的流量不是每个小时都有访问量的，如下图所示。生成的方法分两步：把所有 Join Keys 拼接在一起，把性别、年龄、一直到小时拼接成一个字符串，如图中步骤 1、3 所示使用哈希算法（如 MD5 或 SHA256）对拼接后的字符串做哈希运算，得到哈希值即为“Hash Key”，如上图步骤 2、4 所示在两张表上，我们都进行这样的操作。然后，我们以同样的维度组合统计日志中的访问量，就可以得到图中右侧的“正样本表”。
Spark支持的Join类型、Join的3种实现
upupfeng的博客
08-15 3947
说一下的Spark Join的分类及基本实现机制
大数据开发-Spark Join原理详解
Hoult丶吴邪
01-31 480
数据分析中将两个数据集进行 Join 操作是很常见的场景。在 Spark 的物理计划阶段，Spark 的 Join Selection 类会根 据 Join hints 策略、Join 表的大小、 Join 是等值 Join 还是不等值以及参与 Join 的 key 是否可以排序等条件来选择最 终的 Join 策略，最后 Spark 会利用选择好的 Join 策略执行最终的计算。当前 Spark 一共支持五种 Join 策略： Broadcast hash join (BHJ) Shuffle hash
spark实现ALS算法-附scala代码
赵亮的CSDN博客
08-05 1506
本文记录了使用scala语言在spark上实现ALS模型的相关内容，如有问题可以邮件(zhaoliang19960421@outlook.com)或微信(BestCoder_BestLife)与我联系 有关协同过滤的相关内容详见 spark协同过滤算法-附scala代码 在itemCF中以user-item-score矩阵为输入，通过计算在原始矩阵中的item向量(每个用户对该向量的行为为评分，全部用户的评分向量)之间的相似度来得到推荐相似的item。采用这样的方式依赖的是当两个item有相同的用户有行为时
Spark Job 对象 详解
goTsHgo的博客
09-27 1069
Spark 中的Job主要用于表示一个具体的计算作业，它是由用户提交的Action（例如count()collect()等）触发的。这些动作会生成一个Job对象，最终调度并执行一系列与之相关的任务。Job的核心作用Job是 Spark 中用于管理由Action操作触发的计算任务。它通过划分执行阶段（Stages），并调度相应的任务执行，最终将计算结果返回给用户。代码实现Job在 Spark 源码中作为调度系统的一个重要组成部分，由创建并管理。负责将用户的作业拆解为可执行的阶段和任务，并交由执行。
大数据毕业设计选题推荐-NBA球员数据分析系统-Python数据可视化-Hive-Hadoop-Spark
最新发布
IT毕设梦工厂的博客
10-01 1352
NBA作为全球最具影响力的职业篮球联盟，其数据分析在近年来受到越来越多的关注。据统计，2022-2023赛季NBA常规赛共产生1230场比赛，涉及30支球队和数百名球员，每场比赛平均产生超过400个数据点。这些海量数据涵盖了得分、篮板、助攻等常规统计，以及进阶数据如真实命中率、使用率等。NBA官方数据显示，2022年有超过10亿粉丝通过各种渠道关注NBA赛事，其中数据分析内容的需求量年增长率超过20%。然而，面对如此庞大的数据资源，传统的数据处理方法难以应对其复杂性和动态性。
Spark 中所有用到了Job对象的组件模块和关系
goTsHgo的博客
09-27 873
负责整个Job的生命周期管理，包括阶段划分、任务调度、任务失败重试等。StageJob被分解为多个Stage，每个Stage对应于一组可并行执行的Task。Task和TaskSetStage被分解为多个Task，并通过TaskSet提交执行。和负责将任务调度到集群中具体的节点，负责与集群管理器交互，启动执行器并分配任务。ActiveJob：代表正在运行的Job，并与一起跟踪其状态。：负责Shuffle操作中，数据的输出位置跟踪与管理。Job。
spark计算引擎-架构和应用
oOBubbleX的博客
09-27 937
Spark 是一个开源的分布式计算系统，它提供了一个快速且通用的集群计算平台。Spark 被设计用来处理大规模数据集，并且支持多种数据处理任务，包括批处理、交互式查询、机器学习、图形处理和流处理。
2023_Spark_实验十一：RDD基础算子操作
pblh123的专栏
09-26 748
Spark3.4.1, Scala 2.13 RDD基础练习，使用Spark-shell练习，使用IDEA练习
spark join 的底层原理
09-03
Spark中的join操作有多种实现策略，包括Shuffle Hash Join（洗牌哈希连接）、Broadcast Hash Join（广播哈希连接）、Sort Merge Join（排序合并连接）、Cartesian Join（笛卡尔连接）和Broadcast Nested Loop Join（广播嵌套循环连接）。 Shuffle Hash Join是Spark中的默认join策略，它将两个数据集根据连接键进行分区，并将相同连接键的数据发送到同一个分区。然后，通过哈希函数将两个数据集的相同连接键的数据分布到相同的节点上，并进行连接操作。这种策略适用于大规模数据集的连接操作，但可能会产生大量的网络传输和数据洗牌操作。 Broadcast Hash Join适用于一个小数据集和一个大数据集进行连接操作的场景。它将小数据集广播到所有的工作节点，然后使用哈希连接算法将大数据集与每个节点上的小数据集进行连接。由于小数据集被广播到每个节点，这种策略减少了数据洗牌的开销，提高了性能。 Sort Merge Join是一种通过对两个数据集进行排序后进行合并的连接策略。它适用于两个数据集都已经排序或者无法广播的情况。Sort Merge Join首先对两个数据集根据连接键进行排序，然后按照连接键进行合并操作。这种策略需要额外的排序操作，但可以避免数据洗牌。 Cartesian Join是一种比较低效的连接策略，它将两个数据集的每一条记录都与另一个数据集的所有记录进行连接。这种策略适用于小规模数据集的连接操作，但可能会导致数据爆炸和性能下降。 Broadcast Nested Loop Join是一种在嵌套循环连接的基础上使用广播的优化策略。它将一个小数据集广播到所有的工作节点，并在每个节点上执行嵌套循环连接操作。这种策略适用于一个小数据集和一个大数据集进行连接的场景，可以提高性能。 总的来说，Spark中的join操作根据数据集的大小、排序状态和网络传输等因素选择合适的实现策略来进行连接操作，以提高性能和效率。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Spark SQL 之 Join原理](https://blog.csdn.net/weixin_42868529/article/details/104521847)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [Spark中Join实现原理](https://blog.csdn.net/jinjiating/article/details/127973403)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值