浅谈Oracle中的三种Join方法

基本概念

 

　　Nested loop join：

　　Outer table中的每一行与inner table中的相应记录join，类似一个嵌套的循环。

　　Sort merge join：

　　将两个表排序，然后再进行join。

　　Hash join：

　　将两个表中较小的一个在内存中构造一个Hash 表（对JoinKey），扫描另一个表，同样对JoinKey进行Hash后探测是否可以join，找出与之匹配的行。

　　一张小表被hash在内存中。因为数据量小，所以这张小表的大多数数据已经驻入在内存中，剩下的少量数据被放置在临时表空间中；

　　每读取大表的一条记录，就和小表中内存中的数据进行比较，如果符合，则立即输出数据（也就是说没有读取临时表空间中的小表的数据）。而如果大表的数据与小表中临时表空间的数据相符合，则不直接输出，而是也被存储临时表空间中。

　　当大表的所有数据都读取完毕，将临时表空间中的数据以其输出。如果小表的数据量足够小（小于hashareasize），那所有数据就都在内存中了，可以避免对临时表空间的读写。

　　如果是并行环境下，前面中的第2步就变成如下了：每读取一条大表的记录，和内存中小表的数据比较，如果符合先做join，而不直接输出，直到整张大表数据读取完毕。如果内存足够，Join好的数据就保存在内存中。否则，就保存在临时表空间中。

　　适用范围

　　Nested loop join：

　　适用于outer table(有的地方叫Mastertable)的记录集比较少（<10000）而且innertable（有的地方叫Detailtable）索引选择性较好的情况下（inner table要有index）。

　　inner table被outer table驱动，outertable返回的每一行都要在innertable中检索到与之匹配的行。当然也可以用ORDERED提示来改变CBO默认的驱动表，使用USE_NL(table_name1table_name2)可是强制CBO执行嵌套循环连接。

　　cost = outer access cost + (inner access cost *outercardinality)

　　Sort merge join：

　　用在数据没有索引但是已经排序的情况下。

　　通常情况下hash join的效果都比Sortmergejoin要好，然而如果行源已经被排过序，在执行排序合并连接时不需要再排序了，这时Sort mergejoin的性能会优于hashjoin。可以使用USE_MERGE(table_name1 table_name2)来强制使用Sortmergejoin。

　　cost = (outer access cost * # of hash partitions) + inneraccesscost

　　Hash join：

　　适用于两个表的数据量差别很大。但需要注意的是：如果HASH表太大，无法一次构造在内存中，则分成若干个partition，写入磁盘的temporarysegment，则会多一个I/O的代价，会降低效率，此时需要有较大的temporarysegment从而尽量提高I/O的性能。

　　可以用USE_HASH(table_name1table_name2)提示来强制使用散列连接。如果使用散列连HASH_AREA_SIZE初始化参数必须足够的大，如果是9i，Oracle建议使用SQL工作区自动管理，设置WORKAREA_SIZE_POLICY为AUTO，然后调整PGA_AGGREGATE_TARGET即可。

　　也可以使用HASH_JOIN_ENABLED=FALSE（默认为TRUE）强制不使用hash join。

　　cost = (outer access cost * # of hash partitions) + inneraccesscost

　　效率比较

　　Hashjoin的主要资源消耗在于CPU（在内存中创建临时的hash表，并进行hash计算），而mergejoin的资源消耗主要在于磁盘I/O（扫描表或索引）。在并行系统中，hashjoin对CPU的消耗更加明显。所以在CPU紧张时，最好限制使用hashjoin。

　　在绝大多数情况下，hash join效率比其他join方式效率更高：

　　在Sort-Merge Join(SMJ)，两张表的数据都需要先做排序，然后做merge。因此效率相对最差；

　　Nested-Loop Join(NL)效率比SMJ更高。特别是当驱动表的数据量很大（集的势高）时。这样可以并行扫描内表。

　　Hash join效率最高，因为只要对两张表扫描一次。

　　编辑推荐

　　MySQL中Join算法实现原理分析

　　通往性能优化的JOIN方法说明

　　SQL中的JOIN的简洁解释

 

1，排序 - - 合并连接（Sort Merge Join， SMJ）

　　内部连接过程：

　　1）首先生成row source1需要的数据，然后对这些数据按照连接操作关联列（如A.col3）进行排序。

　　2）随后生成row source2需要的数据，然后对这些数据按照与sort source1对应的连接操作关联列（如B.col4）进行排序。

　　3）最后两边已排序的行被放在一起执行合并操作，即将2个row source按照连接条件连接起来

　　下面是连接步骤的图形表示：

　　     MERGE

　　    /       \

　　SORT        SORT

　　  |            |

　　Row Source 1  Row Source 2

　　如果row source已经在连接关联列上被排序，则该连接操作就不需要再进行sort操作，这样可以大大提高这种连接操作的连接速度，因为排序是个极其费资源的操作，特别是对于较大的表。预先排序的row source包括已经被索引的列（如a.col3或b.col4上有索引）或row source已经在前面的步骤中被排序了。尽管合并两个row source的过程是串行的，但是可以并行访问这两个row source（如并行读入数据，并行排序）。

　　SMJ连接的例子：

　　SQL> explain plan for

　　select /*+ ordered */ e.deptno， d.deptno

　　from emp e， dept d

　　where e.deptno = d.deptno

　　order by e.deptno， d.deptno；

　　Query Plan

　　-------------------------------------

　　SELECT STATEMENT [CHOOSE] Cost=17

　　MERGE JOIN

　　SORT JOIN

　　TABLE ACCESS FULL EMP [ANALYZED]

　　SORT JOIN

　　TABLE ACCESS FULL DEPT [ANALYZED]

　　排序是一个费时、费资源的操作，特别对于大表。基于这个原因，SMJ经常不是一个特别有效的连接方法，但是如果2个row source都已经预先排序，则这种连接方法的效率也是蛮高的。

　　2，嵌套循环（Nested Loops， NL）

　　这个连接方法有驱动表（外部表）的概念。其实，该连接过程就是一个2层嵌套循环，所以外层循环的次数越少越好，这也就是我们为什么将小表或返回较小 row source的表作为驱动表（用于外层循环）的理论依据。但是这个理论只是一般指导原则，因为遵循这个理论并不能总保证使语句产生的I/O次数最少。有时不遵守这个理论依据，反而会获得更好的效率。如果使用这种方法，决定使用哪个表作为驱动表很重要。有时如果驱动表选择不正确，将会导致语句的性能很差、很差。

　　内部连接过程：

　　Row source1的Row 1 —— Probe ->Row source 2

　　Row source1的Row 2 —— Probe ->Row source 2

　　Row source1的Row 3 —— Probe ->Row source 2

　　……。

　　Row source1的Row n —— Probe ->Row source 2

　　从内部连接过程来看，需要用row source1中的每一行，去匹配row source2中的所有行，所以此时保持row source1尽可能的小与高效的访问row source2（一般通过索引实现）是影响这个连接效率的关键问题。这只是理论指导原则，目的是使整个连接操作产生最少的物理I/O次数，而且如果遵守这个原则，一般也会使总的物理I/O数最少。但是如果不遵从这个指导原则，反而能用更少的物理I/O实现连接操作，那尽管违反指导原则吧！因为最少的物理 I/O次数才是我们应该遵从的真正的指导原则，在后面的具体案例分析中就给出这样的例子。

　　在上面的连接过程中，我们称Row source1为驱动表或外部表。Row Source2被称为被探查表或内部表。

　　在NESTED LOOPS连接中，Oracle读取row source1中的每一行，然后在row sourc2中检查是否有匹配的行，所有被匹配的行都被放到结果集中，然后处理row source1中的下一行。这个过程一直继续，直到row source1中的所有行都被处理。这是从连接操作中可以得到第一个匹配行的最快的方法之一，这种类型的连接可以用在需要快速响应的语句中，以响应速度为主要目标。

　　如果driving row source（外部表）比较小，并且在inner row source（内部表）上有唯一索引，或有高选择性非唯一索引时，使用这种方法可以得到较好的效率。NESTED LOOPS有其它连接方法没有的的一个优点是：可以先返回已经连接的行，而不必等待所有的连接操作处理完才返回数据，这可以实现快速的响应时间。

　　如果不使用并行操作，最好的驱动表是那些应用了where 限制条件后，可以返回较少行数据的的表，所以大表也可能称为驱动表，关键看限制条件。对于并行查询，我们经常选择大表作为驱动表，因为大表可以充分利用并行功能。当然，有时对查询使用并行操作并不一定会比查询不使用并行操作效率高，因为最后可能每个表只有很少的行符合限制条件，而且还要看你的硬件配置是否可以支持并行（如是否有多个CPU，多个硬盘控制器），所以要具体问题具体对待。

　　NL连接的例子：

　　SQL> explain plan for

　　select a.dname，b.sql

　　from dept a，emp b

　　where a.deptno = b.deptno；

　　Query Plan

　　-------------------------

　　SELECT STATEMENT [CHOOSE] Cost=5

　　NESTED LOOPS

　　TABLE ACCESS FULL DEPT [ANALYZED]

　　TABLE ACCESS FULL EMP [ANALYZED]

　　3，哈希连接（Hash Join， HJ）

　　这种连接是在oracle 7.3以后引入的，从理论上来说比NL与SMJ更高效，而且只用在CBO优化器中。

　　较小的row source被用来构建hash table与bitmap，第2个row source被用来被hansed，并与第一个row source生成的hash table进行匹配，以便进行进一步的连接。Bitmap被用来作为一种比较快的查找方法，来检查在hash table中是否有匹配的行。特别的，当hash table比较大而不能全部容纳在内存中时，这种查找方法更为有用。这种连接方法也有NL连接中所谓的驱动表的概念，被构建为hash table与bitmap的表为驱动表，当被构建的hash table与bitmap能被容纳在内存中时，这种连接方式的效率极高。

　　HASH连接的例子：

　　SQL> explain plan for

　　select /*+ use_hash（emp） */ empno

　　from emp， dept

　　where emp.deptno = dept.deptno；

　　Query Plan

　　----------------------------

　　SELECT STATEMENT[CHOOSE] Cost=3

　　HASH JOIN

　　TABLE ACCESS FULL DEPT

　　TABLE ACCESS FULL EMP

　　要使哈希连接有效，需要设置HASH_JOIN_ENABLED=TRUE，缺省情况下该参数为TRUE，另外，不要忘了还要设置 hash_area_size参数，以使哈希连接高效运行，因为哈希连接会在该参数指定大小的内存中运行，过小的参数会使哈希连接的性能比其他连接方式还要低。

 

最后，总结一下，在哪种情况下用哪种连接方法比较好：

　　排序 - - 合并连接（Sort Merge Join， SMJ）：

　　a）对于非等值连接，这种连接方式的效率是比较高的。

　　b）如果在关联的列上都有索引，效果更好。

　　c）对于将2个较大的row source做连接，该连接方法比NL连接要好一些。

　　d）但是如果sort merge返回的row source过大，则又会导致使用过多的rowid在表中查询数据时，数据库性能下降，因为过多的I/O.

　　嵌套循环（Nested Loops， NL）：

　　a）如果driving row source（外部表）比较小，并且在inner row source（内部表）上有唯一索引，或有高选择性非唯一索引时，使用这种方法可以得到较好的效率。

　　b） NESTED LOOPS有其它连接方法没有的的一个优点是：可以先返回已经连接的行，而不必等待所有的连接操作处理完才返回数据，这可以实现快速的响应时间。

　　哈希连接（Hash Join， HJ）：

　　a）这种方法是在oracle7后来引入的，使用了比较先进的连接理论，一般来说，其效率应该好于其它2种连接，但是这种连接只能用在CBO优化器中，而且需要设置合适的hash_area_size参数，才能取得较好的性能。

　　b）在2个较大的row source之间连接时会取得相对较好的效率，在一个row source较小时则能取得更好的效率。

　　c）只能用于等值连接中