java merge sort join_排序合并连接(sort merge join)的原理

最新推荐文章于 2024-08-14 14:01:39 发布
最新推荐文章于 2024-08-14 14:01:39 发布
阅读量281 收藏
点赞数 1
文章标签： java merge sort join
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39766071/article/details/114200341
版权

排序合并连接(sort merge join)

访问次数：两张表都只会访问0次或1次。

驱动表是否有顺序：无。

是否要排序：是。

应用场景：当结果集已经排过序。

排序合并连接原理：如果A表的数据为(2,1,4,5,2),B表的数据为(2,2,1,3,1) ,首先将A表和B表全扫描后排序，如下：

A    B

1     1

2     1

2     2

4     2

5     3

因为没有驱动表，所以oracle会随机选择一张表驱动，如果选择了A扫描到1，然后扫描B，当扫描=1的时候则管理，当扫描到B=2时，再以B=2为驱动扫描A表，不是从1开始扫，而是从2开始扫描，交替的进行扫描、关联。

下面我们来做个试验：

SQL> set linesize 1000

SQL> drop table test1 purge;

SQL> drop table test2 purge;

SQL> create table test1 as select * from dba_objects where rownum <=100;

SQL> create table test2 as select * from dba_objects where rownum <=1000;

SQL> exec dbms_stats.gather_table_stats(user,'test1');

SQL> exec dbms_stats.gather_table_stats(user,'test2');

SQL> alter session set statistics_level=all;

SQL> select /*+ ordered use_merge(t2)*/count(*)

from test1 t1, test2 t2

where t1.object_id = t2.object_id;

COUNT(*)

----------

100

SQL> select * from table(dbms_xplan.display_cursor(null,null,'allstats last'));

PLAN_TABLE_OUTPUT

-------------------------------------

SQL_ID  f8ffscp1kugv4, child number 0

-------------------------------------

select /*+ ordered use_merge(t2)*/count(*)   from test1 t1, test2 t2  where t1.object_id = t2.object_id

Plan hash value: 737852259

----解释一下：

Starts为该sql执行的次数。

E-Rows为执行计划预计的行数。

A-Rows为实际返回的行数。A-Rows跟E-Rows做比较，就可以确定哪一步执行计划出了问题。

A-Time为每一步实际执行的时间(HH：MM：SS.FF)，根据这一行可以知道该sql耗时在了哪个地方。

Buffers为每一步实际执行的逻辑读或一致性读。

Reads为物理读。

OMem、1Mem为执行所需的内存评估值，0Mem为最优执行模式所需内存的评估值，1Mem为one-pass模式所需内存的评估值。

0/1/M 为最优/one-pass/multipass执行的次数。

Used-Mem耗的内存

-------------------------------------------------------------------------------------------------------------------

| Id  | Operation            | Name  | Starts | E-Rows | A-Rows |   A-Time   | Buffers |  OMem |  1Mem | Used-Mem |

-------------------------------------------------------------------------------------------------------------------

|   1 |  SORT AGGREGATE      |       |      1 |      1 |      1 |00:00:00.01 |      19 |       |       |          |

|   2 |   MERGE JOIN         |       |      1 |    100 |    100 |00:00:00.01 |      19 |       |       |          |

|   3 |    SORT JOIN         |       |      1 |    100 |    100 |00:00:00.01 |       4 |  2048 |  2048 | 2048  (0)|

|   4 |     TABLE ACCESS FULL| TEST1 |

1 |    100 |    100 |00:00:00.01 |       4 |       |       |          |

|*  5 |    SORT JOIN         |       |    100 |   1000 |    100 |00:00:00.01 |      15 | 73728 | 73728 |          |

|   6 |     TABLE ACCESS FULL| TEST2 |

1|   1000 |   1000 |00:00:00.01 |      15 |       |       |          |

-------------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):

---------------------------------------------------

5 - access("T1"."OBJECT_ID"="T2"."OBJECT_ID")

filter("T1"."OBJECT_ID"="T2"."OBJECT_ID")

SQL> select /*+ ordered use_merge(t2)*/count(*)

from test1 t1, test2 t2

where t1.object_id = t2.object_id

and t1.object_id = 99999;

COUNT(*)

----------

0

SQL> select * from table(dbms_xplan.display_cursor(null,null,'allstats last'));

PLAN_TABLE_OUTPUT

-------------------------------------

SQL_ID  gub4203v6y49v, child number 0

-------------------------------------

select /*+ ordered use_merge(t2)*/count(*)   from test1 t1, test2 t2  where t1.object_id = t2.object_id

and t1.object_id = 99999

Plan hash value: 1970191094

-------------------------------------------------------------------------------------------------------------------

| Id  | Operation            | Name  | Starts | E-Rows | A-Rows |   A-Time   | Buffers |  OMem |  1Mem | Used-Mem |

-------------------------------------------------------------------------------------------------------------------

|   1 |  SORT AGGREGATE      |       |      1 |      1 |      1 |00:00:00.01 |       4 |       |       |          |

|   2 |   MERGE JOIN         |       |      1 |      1 |      0 |00:00:00.01 |       4 |       |       |          |

|*  3 |    TABLE ACCESS FULL | TEST1 |

1 |      1 |      0 |00:00:00.01 |       4 |       |       |          |

|*  4 |    SORT JOIN         |       |      0 |      1 |      0 |00:00:00.01 |       0 | 73728 | 73728 |          |

|*  5 |     TABLE ACCESS FULL| TEST2 |

0 |      1 |      0 |00:00:00.01 |       0 |       |       |          |

-------------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):

---------------------------------------------------

3 - filter("T1"."OBJECT_ID"=99999)

4 - access("T1"."OBJECT_ID"="T2"."OBJECT_ID")

filter("T1"."OBJECT_ID"="T2"."OBJECT_ID")

5 - filter("T2"."OBJECT_ID"=99999)

SQL> select /*+ ordered use_merge(t2)*/count(*)

from test1 t1, test2 t2

where t1.object_id = t2.object_id

and 1=2;

COUNT(*)

----------

0

SQL> select * from table(dbms_xplan.display_cursor(null,null,'allstats last'));

PLAN_TABLE_OUTPUT

----------------------------------------------------------------------------------------------------

SQL_ID  3duvzmx0wm2hv, child number 0

-------------------------------------

select /*+ ordered use_merge(t2)*/count(*)   from test1 t1, test2 t2  where t1.object_id =

t2.object_id    and 1=2

Plan hash value: 593691543

----------------------------------------------------------------------------------------------------------

| Id  | Operation             | Name  | Starts | E-Rows | A-Rows |   A-Time   |  OMem |  1Mem | Used-Mem |

----------------------------------------------------------------------------------------------------------

|   1 |  SORT AGGREGATE       |       |      1 |      1 |      1 |00:00:00.01 |       |       |       |

|*  2 |   FILTER              |       |      1 |        |      0 |00:00:00.01 |       |       |       |

|   3 |    MERGE JOIN         |       |      0 |    100 |      0 |00:00:00.01 |       |       |       |

|   4 |     SORT JOIN         |       |      0 |    100 |      0 |00:00:00.01 | 73728 | 73728 |       |

|   5 |      TABLE ACCESS FULL| TEST1 |

0 |    100 |      0 |00:00:00.01 |       |       |       |

|*  6 |     SORT JOIN         |       |      0 |   1000 |      0 |00:00:00.01 | 73728 | 73728 |       |

|   7 |      TABLE ACCESS FULL| TEST2 |

0 |   1000 |      0 |00:00:00.01 |       |       |       |

----------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):

---------------------------------------------------

2 - filter(NULL IS NOT NULL)

6 - access("T1"."OBJECT_ID"="T2"."OBJECT_ID")

filter("T1"."OBJECT_ID"="T2"."OBJECT_ID")

weixin_39766071
关注
tud-db:我自己在 Java 中实现 SortMergeJoin 和 HashJoin（来自 SQL 的著名 INNER JOIN）
07-06
SortMergeJoin是一种基于排序的JOIN算法，它的基本思想是首先对参与JOIN的两个关系（即表）按照JOIN条件进行排序，然后通过比较排序后的记录进行合并。以下是SortMergeJoin的主要步骤： 1. **预处理**：对输入的两...
Merge Sort Join
ciyixi4265的博客
03-10 128
Merge Sort Join连接的优势就是可以一定程度上减少随机读的情况。就是逻辑读少,但是sort 排序多. hash join 逻辑读多，但是sort 排序少. hash join 是 Merge Sort Join的...
排序归并连接Merge Sort Join
Enmotech的博客
01-21 3363
点击▲关注 “数据和云”   给公众号标星置顶更多精彩 第一时间直达1实现算法排序归并连接算法大致可以分为以下几步：（1）首先以目标SQL中指定的谓词条件（如果有的话）去...
Sort Merge Join
最新发布
weixin_45895230的博客
08-14 290
Stage 1: 使用某种join key来对关系 R和关系S中的数据进行sort的操作，那么所有有着同样的key的tuple会按先后顺序进行排列。这是sort merge join的步骤。放出匹配的tuples。
Oracle表连接操作——Merge Sort Join（合并排序连接）
天元喜羊羊的博客
03-31 1224
http://blog.itpub.net/17203031/viewspace-697012 关系型数据库并不是最早出现的数据库表现形式，之前还存在层次、网状数据库结构。随着关系型数据库的出现，以数据表的方式进行信息留存的方案迅速发展起来。关系型数据库的重要元素包括数据表和表连接，借助各种类型的表连接，可以将平铺直叙的信息加以组装拼接。     1、Merge Sort Jo
排序合并连接 (Sort Merge Join)
viviliving的专栏
08-08 5114
排序合并连接 (Sort Merge Join)是一种两个表在做连接时用排序操作(Sort)和合并操作(Merge)来得到连接结果集的连接方法。 对于排序合并连接的优缺点及适用场景如下： a,通常情况下，排序合并连接的执行效率远不如哈希连接，但前者的使用范围更广，因为哈希连接只能用于等值连接条件，而排序合并连接还能用于其他连接条件(如<,<=,>.>=) b,通常情况下，排序合并连接并不适合OLTP类型的系统，其本质原因是对于因为OLTP类型系统而言，排序是非常昂贵的操作，当然
排序合并连接(sort merge join)的原理
OOM
03-04 1981
访问次数：两张表都只会访问0次或1次。 驱动表是否有顺序：无。 是否要排序：是。 应用场景：当结果集已经排过序。 排序合并连接原理：如果A表的数据为（2,1,4,5,2）,B表的数据为(2,2,1,3,1) ,首先将A表和B表全扫描后排序，如下： A B 1 1 2 1 2 2 4 2 5 3 因为没有驱动表，所以oracle会随机选择一张
DataFrame 数据合并实现(merge，join，concat)
01-21
merge 函数通过一个或多个键将数据集的行连接起来。 场景：针对同一个主键存在的两张包含不同特征的表，通过主键的链接，将两张表进行合并。合并之后，两张表的行数不增加，列数是两张表的列数之和。 def merge...
在Pandas中DataFrame数据合并,连接(concat,merge,join)的实例
09-19
pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, copy=True) ``` **参数解析**： - **objs**：需要连接的对象集合，...
sql学习 Merge Sort Join优化第2式(连接条件索引消除排序).sql
02-11
sql学习 Merge Sort Join优化第2式(连接条件索引消除排序).sql
java merge sort join_Oracle表连接操作——Merge Sort Join（合并排序连接）
weixin_28698059的博客
02-13 235
SQL>select /*+use_merge(segs,tabs)*/* from segs, tabs where segs.segment_name=tabs.table_name;已选择865行。执行计划----------------------------------------------------------Plan hash value: 3475644097------...
12 排序合并连接(SORT MERGE JOIN)--优化主题系列
leo0805的博客
10-09 9403
排序合并连接(SORT MERGE JOIN) 前文提到嵌套循环以及哈希连接，他们都有驱动表概念。排序合并连接没有驱动表一说，两个表/行源是对等关系。排序合并连接原理是先对两个表/行源根据JOIN列进行排序(当然了排序的时候要踢出不符合where条件的列)，然后再进行连接。排序合并连接可以处理非等值JOIN。有时候，出现了非等值JOIN，还非得走SORT MERGE JOIN不可。根据排序合并的原理，我们知道排序合并连接其实很耗费资源，因为要对2个表/结果集进行排序，所以一般情况下，CBO是不会选择走S
Sort-Merge Joins(归并连接算法)
专注大规模数据处理
08-07 6237
看到一篇较好的归并连接算法描述，是我苦苦寻找的文章，转载之。 Sort-Merge Joins       As we have seen from the discussion of the nested-loop join, an exhaustive comparison might not be very efficient in many situations. O
合并排序连接(Merge Sort Join)-1
hayata的专栏
01-16 2180
Merge Sort Join原理机制      Nest Loop Join嵌套循环是一种比较古老的连接匹配方式，特点是通过两层的循环结构，将符合条件的数据行整理出来。嵌套循环的最大缺陷之一，就是伴随着驱动表被驱动表之间的选择，以及大量随机读现象。       Merge Sort Join连接的优势就是可以一定程度上减少随机读的情况。合并排序连接的最大特征是在一次扫描的同时，就判断连接。不
oracle表连接------>排序合并连接(Merge Sort Join)
Watson的专栏
05-15 9190
oracle表之间的连接之排序合并连接(Merge Sort Join)，其特点如下： 1，驱动表和被驱动表都是最多只被访问一次。 2，排序合并连接的表无驱动顺序。 3，排序合并连接的表需要排序，用到SORT_AREA_SIZE。 4，排序合并连接不适用于的连接条件是：不等于其中大于>，小于 5，排序合并连接，如果有索引就可以排除排序。 下面我来做个实验来证实如上的结论：
Oracle三种表连接方式netsed loop、merge sort join、hash join
panzhaobo775的专栏
03-07 9580
1 nested loop join 循环嵌套连接：行源1的每一条记录，依次去匹配行源2的每条记录，将符合连接条件的记录放在结果集中，直到行源1的所有记录都完成这个操作。循环嵌套连接是最基本也是最古老的表连接方式。 2 sort merge join 排序合并连接：行源1和行源2的数据分别排序，然后将两个排序的源表合并，符合连接条件的记录放到结果集中。由于排序需要内存空间，sort me
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值