spark sql-Broadcast Hash Join、SMB-JOIN

一、Broadcast Hash Join

是效率最高的join

• 原理
  先将小表聚合到 driver 端，再广播到各个大表分区中。那么
  再次进行 join 的时候，就相当于大表的各自分区的数据与小表进行本地 join，从而避免了shuffle
• 配置
  set spark.sql.autoBroadcastJoinThreshold=10m，默认为10m，一般情况下值太小，需要增大参数

二、SMB-JOIN

sort merge bucket join

• 原理
  sort merge bucket 操作，需要进行分桶，首先会进行排序，然后根据 key值合并，把相同 key 的数据放到同一个 bucket 中（按照 key 进行 hash）。分桶的目的其实
  就是把大表化成小表。相同 key 的数据都在同一个桶中之后，再进行 join 操作，那么在联合的时候就会大幅度的减小无关项的扫描。
• 条件
  1、连接的两张表都进行分桶，且桶的个数一样
  2、两边进行 join 时，join 列=排序列=分桶列