一、Broadcast Hash Join
是效率最高的join
- 原理
先将小表聚合到 driver 端,再广播到各个大表分区中。那么
再次进行 join 的时候,就相当于大表的各自分区的数据与小表进行本地 join,从而避免了shuffle - 配置
set spark.sql.autoBroadcastJoinThreshold=10m,默认为10m,一般情况下值太小,需要增大参数
二、SMB-JOIN
sort merge bucket join
- 原理
sort merge bucket 操作,需要进行分桶,首先会进行排序,然后根据 key值合并,把相同 key 的数据放到同一个 bucket 中(按照 key 进行 hash)。分桶的目的其实
就是把大表化成小表。相同 key 的数据都在同一个桶中之后,再进行 join 操作,那么在联合的时候就会大幅度的减小无关项的扫描。 - 条件
1、连接的两张表都进行分桶,且桶的个数一样
2、两边进行 join 时,join 列=排序列=分桶列