java merge sort join_Oracle表连接操作——Merge Sort Join（合并排序连接）

最新推荐文章于 2022-02-02 12:23:50 发布
最新推荐文章于 2022-02-02 12:23:50 发布
阅读量227 收藏
点赞数
文章标签： java merge sort join
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_28698059/article/details/114089291
版权

SQL>

select /*+use_merge(segs,tabs)*/* from segs, tabs where segs.segment_name=tabs.table_name;已选择865行。

执行计划

----------------------------------------------------------

Plan hash value: 3475644097

------------------------------------------------------------------------------------

| Id | Operation | Name | Rows | Bytes |TempSpc| Cost (%CPU)| Time |

------------------------------------------------------------------------------------

| 0 | SELECT STATEMENT | | 990 | 354K| | 144 (2)| 00:00:02 |

| 1 | MERGE JOIN | | 990 | 354K| | 144 (2)| 00:00:02 |

| 2 | SORT JOIN | | 968 | 229K| 712K| 65 (2)| 00:00:01 |

| 3 | TABLE ACCESS FULL| TABS | 968 | 229K| | 11 (0)| 00:00:01 |

|* 4 | SORT JOIN | | 2267 | 274K| 824K| 79 (2)| 00:00:01 |

| 5 | TABLE ACCESS FULL| SEGS | 2267 | 274K| | 13 (0)| 00:00:01 |

------------------------------------------------------------------------------------Predicate Information (identified by operation id):

---------------------------------------------------

4 - access("SEGS"."SEGMENT_NAME"="TABS"."TABLE_NAME")

filter("SEGS"."SEGMENT_NAME"="TABS"."TABLE_NAME")

统计信息

----------------------------------------------------------

2010 recursive calls

0 db block gets

378 consistent gets

0 physical reads

0 redo size

72346 bytes sent via SQL*Net to client

1003 bytes received via SQL*Net from client

59 SQL*Net roundtrips to/from client

10 sorts (memory)

0 sorts (disk)

865 rows processed

//使用嵌套循环；

SQL>select /*+use_nl(segs,tabs)*/* from segs, tabs where segs.segment_name=tabs.table_name;已选择865行。

执行计划

----------------------------------------------------------

Plan hash value: 840690564

---------------------------------------------------------------------------

| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |

---------------------------------------------------------------------------

| 0 | SELECT STATEMENT | | 990 | 354K| 11075 (1)| 00:02:13 |

| 1 | NESTED LOOPS | | 990 | 354K| 11075 (1)| 00:02:13 |

| 2 | TABLE ACCESS FULL| TABS | 968 | 229K| 11 (0)| 00:00:01 |

|* 3 | TABLE ACCESS FULL| SEGS | 1 | 124 | 11 (0)| 00:00:01 |

---------------------------------------------------------------------------Predicate Information (identified by operation id):

---------------------------------------------------

3 - filter("SEGS"."SEGMENT_NAME"="TABS"."TABLE_NAME")

统计信息

----------------------------------------------------------

1930 recursive calls

0 db block gets

43978 consistent gets

0 physical reads

0 redo size

70556 bytes sent via SQL*Net to client

1003 bytes received via SQL*Net from client

59 SQL*Net roundtrips to/from client

6 sorts (memory)

0 sorts (disk)

865 rows processed

上面代码示例中给出了两个执行计划，给我们如下的信息。

首先，我们观察使用use_merge提示的SQL，在Hint的作用下，CBO生成的执行计划中使用Merge Sort Join连接方式。在执行计划中Oracle对两个数据表进行Sort操作，之后对排序过的结果进行Merge连接。其中Oracle对两个数据表进行的都是全表扫描操作。

另一个执行计划是使用use_nl控制的Nest Loop Join连接方式。中间同样也是没有使用索引等方式。其中，产生了大量逻辑读。见下表对比：

对比项目

Merge Sort Join

NestLoopJoin

逻辑读consistent gets

378

43978

排序空间sort

10

6

通过数据信息的对比，我们可以明显的看出两个相同结果集合的SQL，由于不同的连接方式而带来的差异。Merge Sort Join可以大大消除由于Nest Loop Join带来的随机读过多的情况。而由于进行的排序操作，Merge Sort Join也要付出相应的排序空间损耗。

2、Merge Sort Join与排序空间

对Oracle熟悉的朋友们通常对Sort和Group操作是比较敏感的。Sort和Group by都是需要单独对数据集进行的操作，要消耗额外的CPU和内存资源。CPU资源主要消耗在算法排序和结果集合整合上。而内存资源的消耗更加需要关注，排序操作要在专门的PGA排序区内完成。如果PGA中特定的排序大小(pga_aggregat_target:sort_area_size)不足以进行排序操作，也就是说需要排序分组的数据集合特别大的时候，Oracle需要调用Temp表空间的容量来进行操作。

这也就是问题的所在。Temp表空间数据存储位于磁盘中，速度与内存相差很多。所以，当进行排序操作的数据集合很大，会出现性能急剧的下降可能。在实际业务场景中，对海量数据集合的处理、Data Warehouse应用的操作，都可能出现这种情况。

回到Merge Sort Join来，就可以理解这种连接方式的缺陷之处了。要进行Merge Sort Join，其中的Sort过程不可避免。而使用Sort操作带来的优势就是不需要进行过多的随机读。在数据集合量很大的时候，Merge Sort Join的效率可能会很差。

3、对索引路径的借用

在Nest Loop Join中，对连接列进行索引处理，可以很大程度上提升执行计划效率，减少随机读的数量。道理就是借用了索引排序这个现实。而Merge Sort Join对索引的应用效果远不如Nest Loop Join。

索引环境构建：

//索引构建

SQL> create index idx_tabs_name on tabs(table_name);

Index created

SQL> create index idx_segs_name on segs(segment_name);

Index created

SQL> exec dbms_stats.gather_table_stats(user,'SEGS',cascade => true);

PL/SQL procedure successfully completed

SQL> exec dbms_stats.gather_table_stats(user,'TABS',cascade => true);

PL/SQL procedure successfully completed

执行计划如下：

SQL> explain plan for select/*+use_merge(tabs,segs)*/* from segs,tabs where segs.segment_name=tabs.table_name;

Explained

SQL> select * from table(dbms_xplan.display);

PLAN_TABLE_OUTPUT--------------------------------------------------------------------------------

Plan hash value: 3475644097

--------------------------------------------------------------------------------

| Id | Operation | Name | Rows | Bytes |TempSpc| Cost (%CPU)| Time

--------------------------------------------------------------------------------

| 0 | SELECT STATEMENT | | 990 | 354K| | 144 (2)| 00:00:

| 1 | MERGE JOIN | | 990 | 354K| | 144 (2)| 00:00:

| 2 | SORT JOIN | | 968 | 229K| 712K| 65 (2)| 00:00:

| 3 | TABLE ACCESS FULL| TABS | 968 | 229K| | 11 (0)| 00:00:

|* 4 | SORT JOIN | | 2267 | 274K| 824K| 79 (2)| 00:00:

| 5 | TABLE ACCESS FULL| SEGS | 2267 | 274K| | 13 (0)| 00:00:

--------------------------------------------------------------------------------Predicate Information (identified by operation id):

---------------------------------------------------

4 - access("SEGS"."SEGMENT_NAME"="TABS"."TABLE_NAME")

filter("SEGS"."SEGMENT_NAME"="TABS"."TABLE_NAME")

18 rows selected

由于Merge Sort Join本身就带有排序的特性，而且返回的结果集合中包括所有字段。所以通常的执行计划中，即使连接列存在索引，也不会进入到执行计划中。除非进行一些特定列处理。

SQL> explain plan for select/*+use_merge(tabs,segs)*/segs.segment_name,tabs.table_namefrom segs,tabs where segs.segment_name=tabs.table_name;

Explained

SQL> select * from table(dbms_xplan.display);

PLAN_TABLE_OUTPUT--------------------------------------------------------------------------------

Plan hash value: 712326860

--------------------------------------------------------------------------------

| Id | Operation             | Name         | Rows | Bytes | Cost (%CPU)| Ti

--------------------------------------------------------------------------------

|  0 | SELECT STATEMENT      |              |  990 | 37620 |    9 (23)| 00

|  1 | MERGE JOIN           |              |  990 | 37620 |    9 (23)| 00

|  2 |  SORT JOIN           |              |  968 | 17424 |    4 (25)| 00

|  3 |   INDEX FAST FULL SCAN| IDX_TABS_NAME |  968 | 17424 |    3  (0)| 00

|* 4 |  SORT JOIN           |              | 2267 | 45340 |    5 (20)| 00

|  5 |   INDEX FAST FULL SCAN| IDX_SEGS_NAME | 2267 | 45340 |    4  (0)| 00

--------------------------------------------------------------------------------

Predicate Information (identified by operation id):

---------------------------------------------------

4 - access("SEGS"."SEGMENT_NAME"="TABS"."TABLE_NAME")

filter("SEGS"."SEGMENT_NAME"="TABS"."TABLE_NAME")

18 rows selected

在对返回结果进行处理的情况下，索引路径会出现的。

4、结论

Merge Sort Join是一种古老经典的排序模型，类似于数据结构时代的合并排序算法。Merge Sort Join引入的最大优势是避免同Nest Loop Join类似的大量随机读现象，但是同时也引入了Sort空间变化的问题。

随着海量数据处理场景的增多，Merge Sort Join暴露出缺陷的机会越来越多。而Nest Loop Join的大量随机读问题，也是可以通过索引等常规手段加以优化。

分享到：

18e900b8666ce6f233d25ec02f95ee59.png

72dd548719f0ace4d5f9bca64e1d7715.png

2011-12-26 16:24

浏览 3647

分类:数据库

评论

阿Test正经比比
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java模拟数据库的排序-合并连接
10-04
用java实现了模拟数据库简单地排序合并连接，绝对可以执行
oracle中表和表之间连接,oracle表之间的连接之------>排序合并连接(Merge Sort Join)
weixin_30694389的博客
04-14 371
排序合并连接 (Sort Merge Join)是一种两个表在做连接时用排序操作(Sort)和合并操作(Merge)来得到连接结果集的连接方法。对于排序合并连接的优缺点及适用场景如下：a,通常情况下，排序合并连接的执行效率远不如哈希连接，但前者的使用范围更广，因为哈希连接只能用于等值连接条件，而排序合并连接还能用于其他连接条件(如.>=)b,通常情况下，排序合并连接并不适合OLTP类型的系统...
Oracle的Filter,Nest loop,Merge sort join和Hash join(原创)
czmmiao的专栏
02-18 311
 Merge Sort Join按照Merge Sort Join连接的两表地位完全相同。这种算法会把每个表按照连接列进行排序，生成两个排序集。然后对两个排序集进行一次遍历便可以得到最终结果集。这个算法的特点是，每个表都需要排序，排序后都需要遍历一次。 以下面的例子说明，Merge Sort Join的执行过程如下：SQL> explain plan for select /*+ us...
java merge sort join_排序合并连接(sort merge join)的原理
weixin_39766071的博客
02-16 261
排序合并连接(sort merge join)访问次数：两张表都只会访问0次或1次。驱动表是否有顺序：无。是否要排序：是。应用场景：当结果集已经排过序。排序合并连接原理：如果A表的数据为(2,1,4,5,2),B表的数据为(2,2,1,3,1) ,首先将A表和B表全扫描后排序，如下：A B1 12 12 24 25 3因为没有驱动表，所以oracle会...
Merge Sort Join
ciyixi4265的博客
03-10 109
Merge Sort Join连接的优势就是可以一定程度上减少随机读的情况。就是逻辑读少,但是sort 排序多. hash join 逻辑读多，但是sort 排序少. hash join 是 Merge Sort Join的...
two-phase-merge_sort-.rar_2phase merge sort_merge_sort_two merge
09-19
通过merge-sort算法的实现，掌握外存算法所基于的I/O模型与内存算法基于的RAM模型的区别；理解不同的磁盘访问优化方法是如何提高数据访问性能的。
在Pandas中DataFrame数据合并,连接(concat,merge,join)的实例
12-26
最近在工作中，遇到了数据合并、连接的问题，故整理如下，供需要者参考~ 一、concat：沿着一条轴，将多个对象堆叠到一起 concat方法相当于数据库中的全连接（union all），它不仅可以指定连接的方式（outer join或...
论文研究-一种改进的闪存数据库Sort-Merge-Join算法.pdf
07-23
在对传统的Sort-Merge-Join算法进一步研究的基础上，提出了一种改进的闪存数据库Sort-Merge-Join算法。该算法只对小关系进行外排序，避免了大关系的外排序，节省了大量时间，同时最小化了中间临时表，达到了少写闪存...
mesh_merge.rar_Mesh_merge的mesh_mesh merge_meshgrid_网格合并
09-21
将不同的有限元网格合并成一套，利用之进行数值计算
排序归并连接Merge Sort Join
Enmotech的博客
01-21 3265
点击▲关注 “数据和云”   给公众号标星置顶更多精彩 第一时间直达1实现算法排序归并连接算法大致可以分为以下几步：（1）首先以目标SQL中指定的谓词条件（如果有的话）去...
sort merge join java_TiDB 源码阅读系列文章（十五）Sort Merge Join
weixin_29516131的博客
02-13 251
什么是 Sort Merge Join在开始阅读源码之前, 我们来看看什么是 Sort Merge Join (SMJ)，定义可以看 wikipedia。简单说来就是将 Join 的两个表，首先根据连接属性进行排序，然后进行一次扫描归并, 进而就可以得出最后的结果。这个算法最大的消耗在于对内外表数据进行排序，而当连接列为索引列时，我们可以利用索引的有序性避免排序带来的消耗, 所以通常在查询优化器中...
Oracle Sort Join
cuimidiao3147的博客
11-08 235
Sort join is the first operation of the “Sort Merge Join”. Before Oracle joins two row sources, both row sourc...
Oracle典型的表连接类型（sort merge join(SMJ) 排序-合并连接、nested loops(NL) 嵌套循环、hash join 哈希连接）
林世广
02-02 2191
1、sort merge join(SMJ) 排序-合并连接 连接过程： 将两个表排序，然后再进行join ①首先生产drving table【驱动表】需要的数据，然后对这些数据按照连接操作关联列进行排序； ②然后生产probed table【被探查表】需要的数据，然后对这些数据按照与driving table对应的连接操作列进行排序； ③最后两边已经排序的行被放在一起执行合并操作。 应用场景： ①排序是一个费时、费资源的操作，特别对于大表。所以SMJ通常不是一个特别有效的连接方法，但是如果driving
Oracle表连接操作——Merge Sort Join（合并排序连接）
天元喜羊羊的博客
03-31 1195
http://blog.itpub.net/17203031/viewspace-697012 关系型数据库并不是最早出现的数据库表现形式，之前还存在层次、网状数据库结构。随着关系型数据库的出现，以数据表的方式进行信息留存的方案迅速发展起来。关系型数据库的重要元素包括数据表和表连接，借助各种类型的表连接，可以将平铺直叙的信息加以组装拼接。     1、Merge Sort Jo
oracle表连接------>排序合并连接(Merge Sort Join)
Watson的专栏
05-15 9128
oracle表之间的连接之排序合并连接(Merge Sort Join)，其特点如下： 1，驱动表和被驱动表都是最多只被访问一次。 2，排序合并连接的表无驱动顺序。 3，排序合并连接的表需要排序，用到SORT_AREA_SIZE。 4，排序合并连接不适用于的连接条件是：不等于其中大于>，小于 5，排序合并连接，如果有索引就可以排除排序。 下面我来做个实验来证实如上的结论：
Oracle三种表连接方式netsed loop、merge sort join、hash join
panzhaobo775的专栏
03-07 9538
1 nested loop join 循环嵌套连接：行源1的每一条记录，依次去匹配行源2的每条记录，将符合连接条件的记录放在结果集中，直到行源1的所有记录都完成这个操作。循环嵌套连接是最基本也是最古老的表连接方式。 2 sort merge join 排序合并连接：行源1和行源2的数据分别排序，然后将两个排序的源表合并，符合连接条件的记录放到结果集中。由于排序需要内存空间，sort me
oracle 中的join,Oracle中的三种Join方法
weixin_29429691的博客
04-02 1368
基本概念Nested loop join：Outer table中的每一行与inner table中的相应记录join，类似一个嵌套的循环。Sort merge join：将两个表排序，然后再进行join。Hash join：将两个表中较小的一个在内存中构造一个Hash 表，那所有数据就都在内存中了，可以避免对临时表空间的读写。如果是并行环境下，前面中的第2步就变成如下了：每读取一条大表的记录，和...
Oracle 常见的表连接方法（join method）
07-04 910
Oracle 常见的表连接方法（join method）
排序合并连接 (Sort Merge Join)
viviliving的专栏
08-08 4845
排序合并连接 (Sort Merge Join)是一种两个表在做连接时用排序操作(Sort)和合并操作(Merge)来得到连接结果集的连接方法。 对于排序合并连接的优缺点及适用场景如下： a,通常情况下，排序合并连接的执行效率远不如哈希连接，但前者的使用范围更广，因为哈希连接只能用于等值连接条件，而排序合并连接还能用于其他连接条件(如<,<=,>.>=) b,通常情况下，排序合并连接并不适合OLTP类型的系统，其本质原因是对于因为OLTP类型系统而言，排序是非常昂贵的操作，当然
oracle sort merge join代码
最新发布
06-06
以下是Oracle数据库中使用Sort-Merge Join的代码示例，假设我们有两个表R和S，它们都有一个整数列A： ```sql -- 假设R和S已经被读入内存并且按照A属性排序 SELECT * FROM R, S WHERE R.A = S.A; ``` 在这个例子中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值