Presto 中 lookUp Join的实现

最新推荐文章于 2025-06-25 00:06:18 发布

王飞活

最新推荐文章于 2025-06-25 00:06:18 发布

阅读量452

点赞数 1

CC 4.0 BY-SA版权

分类专栏： presto 文章标签： presto 大数据 big data database 数据库

本文链接：https://blog.csdn.net/wangfeihuo/article/details/126047055

presto 专栏收录该内容

64 篇文章

订阅专栏

本文详细介绍了Presto中的LoopupJoin操作，它通过HashBuilderOperator将右表数据加载到内存，形成HashBuilder表。然后，LookupJoinOperator利用这个内存中的HashBuilder表对左表数据进行探测和连接。在HashBuilder表构造完成后，LookupJoinOperator开始处理probe表数据，实现高效的内存JOIN。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一. 前言

Loopup Join顾名思义就是通过查找方式实现的Join，也即右边常驻内存，左表不断去内存里边loopup 看join条件是否相等来实现join操作。在presto中，常驻内存的表称为HashBuilder表，有HashBuilderOperator算子负责构造，不断去探测的表称为probe表，在LookupJoinOperator中实现probe表对HashBuilder表的探测和数据关联。

二. HashBuilder表的构造

构造表的时候，通过HashBuilderOperator将需要常驻内存的表读到内存中：

HashBuilderOperator：：addInput

   updateIndex

       index.addPage

           channels[i].add(block);   // 所有数据都在channels中

读完表后：

HashBuilderOperator::finish
   finishInput
       buildLookupSource
          index.createLookupSourceSupplier
             return lookupSourceFactory.createLookupSourceSupplier(...valueAddresses,  channels...)   //将HashBuilder表的数据全部都放在LookupSource，LookupSource为LookupJoinOperator提供右表的数据的读取

          state = State.LOOKUP_SOURCE_BUILT  //HashBuilder表已经完成构造，LookupJoinOperator将开始工作

三. LookupJoinOperator的探测

LookupJoinOperator的构造函数中的LookupSourceFactory可以得到HashBuilder表的所有数据

probe表的数据通过LookupJoinOperator::addInput 不断进来, 并加工成一个probe表

当下游通过getOutput取一批数据的时候：

LookupJoinOperator::getOutput
   processProbe
      processProbe(lookupSourceLease.getLookupSource())  //这里用到了HashBuilder表的数据了
          joinCurrentPosition
             pageBuilder.appendRow(probe, lookupSource, joinPosition)    //2表相同数据的碰撞
                outputPage = pageBuilder.build(probe)
                     Block[] blocks = new Block[probeOutputChannels.length + buildOutputChannelCount];              //实现了2表join