SMB Join（Sort Merge Bucket Join）

一、作用

大表对小表应该使用MapJoin来进行优化，但是如果是大表对大表，如果进行shuffle，那就非常可怕，第一个慢不用说，第二个容易出异常，此时就可以使用SMB Join来提高性能。SMB Join基于bucket-mapjoin的 有序 bucket，可实现在map端完成join操作，可以有效地减少或避免shuffle的数据量。SMB join的条件和Map join类似但又不同。

二、条件

bucket mapjoin	SMB join
set hive.optimize.bucketmapjoin = true;	set hive.optimize.bucketmapjoin = true;set hive.auto.convert.sortmerge.join=true;set hive.optimize.bucketmapjoin.sortedmerge = true;set hive.auto.convert.sortmerge.join.noconditionaltask=true;
一个表的bucket数是另一个表bucket数的整数倍	小表的bucket数=大表bucket数
bucket列 == join列	bucket列 == join列
必须是应用在map join的场景中	必须是应用在bucket mapjoin 的场景中

三、确保分桶列排序

hive并不检查两个join的表是否已经做好bucket且sorted，需要用户自己去保证join的表数据sorted，否则可能数据不正确。
有两个办法：

1. hive.enforce.sorting 设置为 true。开启强制排序时，插数据到表中会进行强制排序，默认false。

2. 插入数据时通过在sql中用distributed c1 sort by c1 或者 cluster by c1
   另外，表创建时必须是CLUSTERED且SORTED，如下：

   create table test_smb_2(mid string,age_id string)
   CLUSTERED BY(mid) SORTED BY(mid) INTO 500 BUCKETS;
   

四、分桶表操作的齐全配置

• 开启MapJoin的配置（hive.auto.convert.join和hive.auto.convert.join.noconditionaltask.size），还有限制对桶表进行load操作（hive.strict.checks.bucketing）可以直接设置在hive的配置项中，无需在sql中声明。
• 自动尝试SMB联接（hive.optimize.bucketmapjoin.sortedmerge）也可以在设置中进行提前配置。

  --写入数据强制分桶
  set hive.enforce.bucketing=true;
  --写入数据强制排序
  set hive.enforce.sorting=true;
  --开启bucketmapjoin
  set hive.optimize.bucketmapjoin = true;
  --开启SMB Join
  set hive.auto.convert.sortmerge.join=true;
  set hive.auto.convert.sortmerge.join.noconditionaltask=true;