hive SMB join 验证实验

最新推荐文章于 2024-05-10 14:54:23 发布

就想叫筷子

最新推荐文章于 2024-05-10 14:54:23 发布

阅读量3.5k

点赞数 1

分类专栏： Hive

本文链接：https://blog.csdn.net/weixin_44033089/article/details/88422273

版权

本文通过实验验证了Hive SMB (Sort-Merge Bucket) Join的使用条件，包括分桶表的创建、JOIN键一致性及相关参数设置。在不同参数配置下，观察SQL执行计划的变化，展示SMB Join如何减少Map任务并实现更高效的Join操作。

摘要由CSDN通过智能技术生成

关于hive的SMB join 有一些成立的前提条件

首先: 两张表是分桶的，在创建表的时候需要指定：

CREATETABLE(……) CLUSTERED BY (col_1) SORTED BY (col_1) INTO buckets_Nums BUCKETS

其次：两张表分桶的列必须是JOIN KEY

最后：需要设置一些bucket相关的参数

set hive.auto.convert.sortmerge.join=true;
set hive.optimize.bucketmapjoin = true;
set hive.optimize.bucketmapjoin.sortedmerge = true;

以下通过实验验证这个前提条件：

1创建两个分桶表，分别插入2000w条数据

建表语句略，注意要使用 clustered by （）和sorted by（）关键词

2写一个把两个分桶表join到一起的sql

explain
SELECT
T7.POLICY_ID ,
T7.ECIF_ID
FROM TAB_A T7
LEFT JOIN TAB_B T8

ON T7.POLICY_ID=T8.POLICY_ID AND T7.POLICY_ID !='' AND T7.POLICY_ID IS NOT NULL
WHERE T7.POLICY_ID !='' AND T7.POLICY_ID IS NOT NULL;

3查看这个sql的执行计划

先把三个参数设置成false，执行计划如下

STAGE DEPENDENCIES:                                |
|   Stage-1 is a root stage                          |
|   Stage-0 depends on stages: Stage-1               |
|                                                    |
| STAGE PLANS:                                       |
|   Stage: Stage-1                                   |
|     Spark                                          |
|       Edges:                                       |
|         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 17), Map 3 (PARTITION-LEVEL SORT, 17) |
|       DagName: hive_20190312153939_af15e0de-1cdf-450d-879b-53e0f6a4cbd0:8002 |
|       Vertices:

最低0.47元/天解锁文章