hash join的基本原理是怎样的?

我们知道数据库里面两表关联主要有三种常见的关联方式,即

  • nested loop join
  • hash join
  • merge join

nested loop join在OLTP交易场景占比是最多的,常用于关联字段为主键或索引字段的情况,通过主键或索引以及loop的方式,A表可以快速查找到匹配的B表中的数据。

merge join又称为sort merge,可想而知,如果被关联的两个数据集正好是有序的,那么采用这种方式是最高效的。

hash join则是把一个表(通常为小表)放在hash内存中,进行匹配关联。

虽然知道这点简单的理解,不过当别人问起来hash join具体怎么实现的时候,发现并不能说出个一二,看来还是应该我去熟悉一下底层的原理。参考网上关于hash join原理的一二之后,也用本篇文章稍作记录,作为一个学习的过程吧~

背景概念

所谓连接(join)是通过把多个表之间某列相等的元组提取出来组成新的表。两个表如果元数目过多,逐个遍历开销就很大(这里说的其实就是nested join),哈希连接(hash join)就是一种提高连接效率的方法。

自Oracle 7.3以来就实现了hash join的技术,MySQL则是在最新的8.0版本中实现了hash join。Hash join只能用于相等连接,相对于nested loop join,hash join更适合处理大型结果集。Hash join不需要在驱动表上存在索引。

基本概述

Hash join算法的基本思想是根据小表(记为S表)建立一个可以存在于hash area内存中的hash table,然后用大表(记为B表)来探测前面的hash table

如果hash area内存不够大,hash table就无法完全存放在hash area内存中。针对这种情况,Oracle在连接键上利用一个hash函数将S表和B表分割成多个不相连的分区(分别记为Si和Bi),这个阶段叫做分区阶段;然后各自相应的分区(即Si和Bi)再做Hash join,这个阶段叫做join阶段

如果分区后,针对某个分区所建的hash table还是太大的话,Oracle采用nested-loops hash join,就是对部分Si建立hash table,然后读取所有的Bi与所建的hash table做连接,然后再对剩余的Si建立hash table,再将所有的Bi与所建的hash table做连接,直到所有Si都连接完。

Hash join算法有一个限制,它假设两表在连接键上是均匀的,不过实际情况是数据可能不均匀,为了应对这个问题,Oracle引进几种技术,包括位图向量过滤、角色互换、柱状图等。

主要过程

从上面描述可以发现,Hash join主要分为两个阶段:建立阶段(build phase)和探测阶段(probe phase)

Build Phase

选择一个表,通常是较小的那个表,以减少建立哈希表的时间和空间。然后对其中每个元组上的连接属性采用哈希函数得到哈希值,从而建立一个哈希表。

Probe Phase

对另一个表,扫描它的每一行并计算连接属性的哈希值,与Build Phase建立的哈希表对比,如果落在同一个bucket的,如果满足连接谓词则连接成新的表。

在内存足够大的情况下建立哈希表的过程时整个表都在内存中,完成连接操作后才放在磁盘里面。但这个过程会带来很多的IO操作。

另一种哈希连接Grace hash join,适用于内存不足的情况,也就是前面提到的先分区再join的过程。

基本原理

参考https://www.cnblogs.com/qlee/archive/2011/04/11/2012572.html
使用一个例子来解释Hash join算法的原理,假如有两个数据集如下:

S={1,1,1,3,3,4,4,4,4,5,8,8,8,8,10}

B={0,0,1,1,1,1,2,2,2,2,2,2,3,8,9,9,9,10,10,11}

Hash join第一步是判定小表(S表)是否能完全存放在hash area内存中,如果能完全存放在内存中,则在内存中建立hash table,这是最简单的Hash join。

如果不能全部放在内存中,则将S表进行分区,分区的个数叫做fan-out。

Oracle采用内部一个hash函数作用于连接键上,将S和B分割成多个分区,假设产生10个分区,如下表。
在这里插入图片描述
经过以上分区之后,只需要相应的分区之间做join即可,如果有分区为NULL的话,则相应的分区Join即可忽略。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据源的港湾

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值