连接简介
在实际工作中,我们需要查询的数据很可能不是放在一张表中,而是需要同时从多张表中获取。下面我们以简单的两张表为例来进行说明。
连接的本质
为方便测试,先创建两个简单的表并给填充一点数据:
mysql> CREATE TABLE t1 (m1 int, n1 char(1));
Query OK, 0 rows affected (0.12 sec)
mysql> CREATE TABLE t2 (m2 int, n2 char(1));
Query OK, 0 rows affected (0.13 sec)
mysql> INSERT INTO t1 VALUES(1, 'a'), (2, 'b'), (3, 'c');
Query OK, 3 rows affected (0.01 sec)
Records: 3 Duplicates: 0 Warnings: 0
mysql> INSERT INTO t2 VALUES(2, 'b'), (3, 'c'), (4, 'd');
Query OK, 3 rows affected (0.02 sec)
Records: 3 Duplicates: 0 Warnings: 0
以上是建立的两个表 t1 和 t2 ,两个表都有两个列,一个是 INT 类型的,一个是 CHAR(1) 类型的,填充的表数据如下:
mysql> SELECT * FROM t1;
+------+------+
| m1 | n1 |
+------+------+
| 1 | a |
| 2 | b |
| 3 | c |
+------+------+
3 rows in set (0.00 sec)
mysql> SELECT * FROM t2;
+------+------+
| m2 | n2 |
+------+------+
| 2 | b |
| 3 | c |
| 4 | d |
+------+------+
3 rows in set (0.00 sec)
连接的本质就是把各个连接表中的记录都取出来并将依次匹配的组合加入结果集并返回给用户。所以我们把 t1 和t2 两个表连接起来的过程如下图所示:
这个过程看起来就是把 t1 表的记录和 t2 的记录连起来组成新的更大的记录,所以这个查询过程称之为连接查询。**连接查询的结果集中包含一个表中的每一条记录与另一个表中的每一条记录相互匹配的组合,这样的组合集就可以称之为笛卡尔积 。**因为表 t1 中有3条记录,表 t2 中也有3条记录,所以这两个表连接之后的笛卡尔积就有 3×3=9 行记录。在 MySQL 中,连接查询的语法比较随意,只要在 FROM 语句后边跟多个表名就好了,比如把 t1 表和 t2 表连接起来的查询语句可以写成如下:
mysql> SELECT * FROM t1, t2;
+------+------+------+------+
| m1 | n1 | m2 | n2 |
+------+------+------+------+
| 1 | a | 2 | b |
| 2 | b | 2 | b |
| 3 | c | 2 | b |
| 1 | a | 3 | c |
| 2 | b | 3 | c |
| 3 | c | 3 | c |
| 1 | a | 4 | d |
| 2 | b | 4 | d |
| 3 | c | 4 | d |
+------+------+------+------+
9 rows in set (0.00 sec)
连接过程简介
理论上我们可以连接任意数量张表,但是如果没有任何限制条件的话,这些表连接起来产生的笛卡尔积可能是非常巨大的。比方说3个100行记录的表连接起来产生的 笛卡尔积就有 100×100×100=1000000 行数据!所以在连接的时候过滤掉特定记录组合是有必要的,在连接查询中的过滤条件可以分成两种:
- 涉及单表的条件
这种只设计单表的过滤条件我们之前都提到过一万遍了,我们之前也一直称为搜索条件 ,比如 t1.m1 > 1是只针对 t1 表的过滤条件, t2.n2 < ‘d’ 是只针对 t2 表的过滤条件。 - 涉及两表的条件
比如 t1.m1 = t2.m2 、 t1.n1 > t2.n2 等,这些条件中涉及到了两个表,我们稍后会分析这种过滤条件是如何使用的。
下边我们就要看一下携带过滤条件的连接查询的大致执行过程了,比方说下边这个查询语句:
SELECT * FROM t1, t2 WHERE t1.m1 > 1 AND t1.m1 = t2.m2 AND t2.n2 < ‘d’;
在这个查询中我们指明了这三个过滤条件: - t1.m1 > 1
- t1.m1 = t2.m2
- t2.n2 < ‘d’
这个连接查询的大致执行过程如下:
1 . 首先确定第一个需要查询的表,这个表称之为驱动表 。单表中执行查询语句按照前一章节的方式进行,只需要选取代价最小的那种访问方法去执行单表查询语句就好了(依次是const、ref、ref_or_null、range、index、all这些执行方法中选取代价最小的去执行查询)。此处假设使用 t1 作为驱动表,那么就需要到 t1 表中找满足 t1.m1 > 1 的记录,因为表中的数据很少,我们也没在表上建立二级索引,所以此处查询 t1 表的访问方法应该为all。关于如何提升连接查询的性能我们之后再说,现在先搞清楚基本概念。所以查询过程就如下图所示:
我们可以看到, t1 表中符合 t1.m1 > 1 的记录有两条。
2 . 针对上一步骤中从驱动表产生的结果集中的每一条记录,分别需要到 t2 表中查找符合过滤条件的记录。因为是根据 t1 表中的记录去找 t2 表中的记录,所以 t2 表也可以被称之为被驱动表 。上一步骤从驱动表中得到了2条记录,所以需要查询2次 t2 表。此时涉及两个表的列的过滤条件 t1.m1 = t2.m2 就派上用场了: - 当 t1.m1 = 2 时,过滤条件 t1.m1 = t2.m2 就相当于 t2.m2 = 2 ,所以此时 t2 表相当于有了 t2.m2 =2 、 t2.n2 < ‘d’ 这两个过滤条件,然后到 t2 表中执行单表查询。
- 当 t1.m1 = 3 时,过滤条件 t1.m1 = t2.m2 就相当于 t2.m2 = 3 ,所以此时 t2 表相当于有了 t2.m2 =3 、 t2.n2 < ‘d’ 这两个过滤条件,然后到 t2 表中执行单表查询。
所以整个连接查询的执行过程就如下图所示:
也就是说整个连接查询最后的结果只有两条符合过滤条件的记录:
m1 | n1 | m2 | n2 |
---|---|---|---|
2 | b | 2 | b |
3 | c | 3 | c |
从上边两个步骤可以看出来,我们上面说的这个两表连接查询共需要查询1次 t1 表,2次 t2 表。当然这是在特定的过滤条件下的结果,如果我们把 t1.m1 > 1 这个条件去掉,那么从 t1 表中查出的记录就有3条,就需要查询3次 t2 表了。也就是说在两表连接查询中,驱动表只需要访问一次,被驱动表可能被访问多次。 |
内连接和外连接
方便测试,我们先创建两个比较真实的表:
CREATE TABLE student (
number INT NOT NULL AUTO_INCREMENT COMMENT '学号',
name VARCHAR(5) COMMENT '姓名',
major VARCHAR(30) COMMENT '专业',
PRIMARY KEY (number)
) Engine=InnoDB CHARSET=utf8 COMMENT '学生信息表';
Query OK, 0 rows affected (0.12 sec)
CREATE TABLE score (
number INT COMMENT '学号',
subject VARCHAR(30) COMMENT '科目',
score TINYINT COMMENT '成绩',
PRIMARY KEY (number, score)
) Engine=InnoDB CHARSET=utf8 COMMENT '学生成绩表';
Query OK, 0 rows affected (0.18 sec)
我们新建了一个学生信息表和一个学生成绩表,然后我们向上述两个表中插入一些数据,插入后两表中的数据如下:
mysql> insert into student values(20230101,'张三','石油工程'),(20230102,'李四','测控技术'),(20230103,'王五','通信工程');
Query OK, 3 rows affected (0.02 sec)
Records: 3 Duplicates: 0 Warnings: 0
mysql> insert into score values(20230101,'高等数学','76'),(20230102,'模拟电路','92'),(20230102,'模拟电路','86'),(20230102,'高等数学','95');
Query OK, 4 rows affected (0.06 sec)
Records: 4 Duplicates: 0 Warnings: 0
mysql> select * from student;
+----------+--------+--------------+
| number | name | major |
+----------+--------+--------------+
| 20230101 | 张三 | 石油工程 |
| 20230102 | 李四 | 测控技术 |
| 20230103 | 王五 | 通信工程 |
+----------+--------+--------------+
3 rows in set (0.00 sec)
mysql> select * from score;
+----------+--------------+-------+
| number | subject | score |
+----------+--------------+-------+
| 20230101 | 高等数学 | 76 |
| 20230102 | 模拟电路 | 86 |
| 20230102 | 模拟电路 | 92 |
| 20230102 | 高等数学 | 95 |
+----------+--------------+-------+
4 rows in set (0.00 sec)
现在我们的需求是把每个学生的考试成绩都查询出来,那么就需要将两个表进行连接(因为 student 表中没有学科和成绩信息,所以不能单纯只查询 student表)。连接过程就是从 student 表中取出记录,在 score 表中查找 number 相同的成绩记录,所以过滤条件就是 student.number = socre.number ,整个查询语句就是这样:
mysql> SELECT * FROM student, score WHERE student.number = score.number;
+----------+--------+--------------+----------+--------------+-------+
| number | name | major | number | subject | score |
+----------+--------+--------------+----------+--------------+-------+
| 20230101 | 张三 | 石油工程 | 20230101 | 高等数学 | 76 |
| 20230102 | 李四 | 测控技术 | 20230102 | 模拟电路 | 86 |
| 20230102 | 李四 | 测控技术 | 20230102 | 模拟电路 | 92 |
| 20230102 | 李四 | 测控技术 | 20230102 | 高等数学 | 95 |
+----------+--------+--------------+----------+--------------+-------+
4 rows in set (0.00 sec)
字段有点重复,我们稍作精简:
mysql> SELECT s1.number, s1.name, s1.major , s2.subject, s2.score FROM student AS s1, score AS s2 where s1.number = s2.number;
+----------+--------+--------------+--------------+-------+
| number | name | major | subject | score |
+----------+--------+--------------+--------------+-------+
| 20230101 | 张三 | 石油工程 | 高等数学 | 76 |
| 20230102 | 李四 | 测控技术 | 模拟电路 | 86 |
| 20230102 | 李四 | 测控技术 | 模拟电路 | 92 |
| 20230102 | 李四 | 测控技术 | 高等数学 | 95 |
+----------+--------+--------------+--------------+-------+
4 rows in set (0.00 sec)
从上述查询结果中我们可以看到,各个同学对应的各科成绩就都被查出来了,但是有个问题, 就是学号为 20230103 的王五同学,因为某些原因没有参加考试,所以在 score 表中没有对应的成绩记录。那如果老师想查看所有同学的考试成绩,即使是缺考的同学也需要展示出来,但是上面介绍的连接查询是无法完成这样的需求的。我们想一下这个需求,其本质是在驱动表中的记录即使在被驱动表中没有匹配的记录,也仍然需要加入到结果集。为了解决这个问题,就有了内连接和外连接的概念:
- 对于内连接的两个表,驱动表中的记录在被驱动表中找不到匹配的记录,该记录不会加入到最后的结果集,我们上边使用的连接都是内连接 。(交集?)
- 对于外连接的两个表,驱动表中的记录即使在被驱动表中没有匹配的记录,也需要加入到结果集。
在 MySQL 中,根据选取驱动表的不同,外连接仍然可以细分为2种:- 左外连接
选取左侧的表为驱动表。 - 右外连接
选取右侧的表为驱动表。
可是这样仍然存在问题,即使对于外连接来说,有时候我们也并不想把驱动表的全部记录都加入到最后的结果集。这就需要将过滤条件分为两种这个问题就解决了,放在不同地方的过滤条件是有不同意义的:
- 左外连接
- WHERE 子句中的过滤条件
WHERE 子句中的过滤条件是我们最常见的,不论是内连接还是外连接,凡是不符合 WHERE 子句中的过滤条件的记录都不会被加入最后的结果集。 - ON 子句中的过滤条件
对于外连接的驱动表的记录来说,如果无法在被驱动表中找到匹配 ON 子句中的过滤条件的记录,那么该记录仍然会被加入到结果集中,对应的被驱动表记录的各个字段使用 NULL 值填充。
说明:ON子句是专门为外连接驱动表中的记录在被驱动表找不到匹配记录时需不需要把该记录加入结果集这个场景下提出的,所以如果把 ON 子句放到内连接中, 它的效果和 WHERE 子句一样,也就是说:内连接中的WHERE子句和ON子句是等价的。
所以一般情况下,我们都把只涉及单表的过滤条件放到 WHERE 子句中,把涉及两表的过滤条件都放到 ON 子句中,把放到 ON 子句中的过滤条件称之为连接条件 。
左(外)连接的语法
下面我们的需求是要把 t1 表和 t2 表进行左外连接查询,SQL如下:
SELECT * FROM t1 LEFT [OUTER] JOIN t2 ON 连接条件 [WHERE 普通过滤条件];
其中 中括号里的 OUTER 单词是可以省略的。对于 LEFT JOIN 类型的连接来说,我们把放在左边的表称之为外表或者驱动表,右边的表称之为内表或者被驱动表。所以上述例子中 t1 就是外表或者驱动表, t2 就是内表或者被驱动表。需要注意的是,对于左(外)连接和右(外)连接来说,必须使用 ON 子句来指出连接条件,后面的where表示还可以添加额外的过滤条件。现在我再看看上面的问题,如何写查询语句才能把所有的学生的成绩信息都查询出来,即便是缺考的学生也应该在结果中:
mysql> SELECT s1.number, s1.name, s2.subject, s2.score FROM student AS s1 LEFT JOIN score AS s2 ON s1.number = s2.number;
+----------+--------+--------------+-------+
| number | name | subject | score |
+----------+--------+--------------+-------+
| 20230101 | 张三 | 高等数学 | 76 |
| 20230102 | 李四 | 模拟电路 | 86 |
| 20230102 | 李四 | 模拟电路 | 92 |
| 20230102 | 李四 | 高等数学 | 95 |
| 20230103 | 王五 | NULL | NULL |
+----------+--------+--------------+-------+
5 rows in set (0.00 sec)
从结果中可以看出,虽然王五并没有对应的成绩记录,但是由于采用的是连接类型为左(外)连接,所以仍然把他筛选了出来,只不过在对应的成绩记录列使用了 NULL 值填充。
右(外)连接的语法
右(外)连接和左(外)连接的原理是一样的,语法只是把 LEFT 换成 RIGHT 如下:
SELECT * FROM t1 RIGHT [OUTER] JOIN t2 ON 连接条件 [WHERE 普通过滤条件];
只不过驱动表是右边的表,被驱动表是左边的表。
mysql> SELECT s1.number, s1.name, s2.subject, s2.score FROM score AS s2 right JOIN student AS s1 ON s1.number = s2.number;
内连接的语法
内连接和外连接的根本区别就是在驱动表中的记录不符合 ON 子句中的连接条件时不会把该记录加入到最后的结果集,我们最开始说的那些连接查询的类型都是内连接。不过之前用的是一种最简单的内连接语法,就是直接把需要连接的多个表都放到 FROM 子句后边。其实针对内连接,MySQL提供了多种不同的语法,我们以 t1和 t2 表为例:
SELECT * FROM t1 [INNER | CROSS] JOIN t2 [ON 连接条件] [WHERE 普通过滤条件];
也就是说在 MySQL 中,下边这几种内连接的写法都是等价的:
- SELECT * FROM t1,t2;
- SELECT * FROM t1 JOIN t2;
- SELECT * FROM t1 INNER JOIN t2;
- SELECT * FROM t1 CROSS JOIN t2;
我们可以选择一种自己比较好理解记忆的使用,但是推荐使用INNER JOIN 的形式书写内连接(因为 INNER JOIN 语义很明确,可以和 LEFT JOIN 和 RIGHT JOIN 很轻松的区分开),需要注意的是,由于在内连接中ON子句和WHERE子句是等价的,所以内连接中不要求强制写明ON子句。
总结:连接的本质就是把各个连接表中的记录都取出来依次匹配的组合加入结果集并返回给用户。不论哪个表作为驱动表,两表连接产生的笛卡尔积肯定是一样的。而对于内连接来说,由于凡是不符合 ON 子句或WHERE 子句中的条件的记录都会被过滤掉,其实也就相当于从两表连接的笛卡尔积中把不符合过滤条件的记录给过滤出去,所以对于内连接来说,驱动表和被驱动表是可以互换的,并不会影响最后的查询结果。但是对于外连接来说,由于驱动表中的记录即使在被驱动表中找不到符合 ON 子句连接条件的记录也会加入到最后的查询结果。所以对于外连接来说驱动表和被驱动表的关系就很重要了,它们之间是不能随意互换的。
连接的原理
嵌套循环连接(Nested-Loop Join)
对于两表连接来说,驱动表只会被访问一次,但被驱动表可能被访问多次,具体访问次数取决于对驱动表执行单表查询后的结果集中的记录条数。对于内连接来说,选取哪个表为驱动表都没影响,而外连接的驱动表是固定的,也就是说左(外)连接的驱动表就是左边的那个表,右(外)连接的驱动表就是右边的那个表。上边已经大致介绍过 t1 表和 t2 表执行内连接查询的大致过程,大致过程如下:
- 步骤1:选取驱动表,使用与驱动表相关的过滤条件,选取代价最低的单表访问方法来执行对驱动表的单表查询。
- 步骤2:对上一步骤中查询驱动表得到的结果集中每一条记录,都分别到被驱动表中查找匹配的记录。
通用的两表连接过程如下图所示:
如果有3个表进行连接的话,那么 步骤2 中得到的结果集就可以看作是新的驱动表,然后第三个表就成为了被驱动表,重复上边过程,也就是 步骤2 中得到的结果集中的每一条记录都需要到 t3 表中找一找有没有匹配的记录,用伪代码表示一下这个过程就是这样:
for each row in t1 { #此处表示遍历满足对t1单表查询结果集中的每一条记录
for each row in t2 { #此处表示对于某条t1表的记录来说,遍历满足对t2单表查询结果集中的
每一条记录
for each row in t3 { #此处表示对于某条t1和t2表的记录组合来说,对t3表进行单表查询
if row satisfies join conditions, send to client
}
}
}
这个过程就像是一个嵌套的循环,所以这种驱动表只访问一次,但被驱动表却可能被多次访问,访问次数取决于对驱动表执行单表查询后的结果集中的记录条数的连接执行方式称之为嵌套循环连接 ( Nested-Loop Join ),这是最简单,也是最笨拙的一种连接查询算法。
使用索引加快连接速度
我们知道在嵌套循环连接的步骤2 中可能需要访问多次被驱动表,如果访问被驱动表的方式都是全表扫描的话,那得要扫描很多次了。 但其实查询 t2 表也相当于一次单表扫描,我们可以利用索引来加快查询速度。再来看看最开始介绍的 t1 表和 t2 表进行的内连接:
SELECT * FROM t1, t2 WHERE t1.m1 > 1 AND t1.m1 = t2.m2 AND t2.n2 < ‘d’;
我们使用的其实是 嵌套循环连接 算法执行的连接查询,上面那个查询执行过程大致如下:
查询驱动表 t1 后的结果集中有两条记录, 嵌套循环连接算法需要对被驱动表查询2次:
- 当 t1.m1 = 2 时,去查询一遍 t2 表,对 t2 表的查询语句相当于:
SELECT * FROM t2 WHERE t2.m2 = 2 AND t2.n2 < ‘d’; - 当 t1.m1 = 3 时,再去查询一遍 t2 表,此时对 t2 表的查询语句相当于:
SELECT * FROM t2 WHERE t2.m2 = 3 AND t2.n2 < ‘d’;
可以看到,这个涉及两个表的过滤条件t1.m1 = t2.m2 在针对 t2 表做查询时关于 t1 表的条件就已经确定,所以我们只需要针对优化对 t2 表的查询,上述两个对 t2 表的查询语句中利用到的列是 m2 和 n2 列,我们可以:
- 在 m2 列上建立索引,因为对 m2 列的条件是等值查找,比如 t2.m2 = 2 、 t2.m2 = 3 等,所以可能使用到ref (refs复数,多个)的访问方法,假设使用 ref 的访问方法去执行对 t2 表的查询的话,需要回表之后再判断 t2.n2 < d 这个条件是否成立。
这里有一个比较特殊的情况,就是假设 m2 列是 t2 表的主键或者唯一二级索引列,那么使用 t2.m2 = 常数值这样的条件从 t2 表中查找记录的过程的代价就是常数级别的。我们知道在单表中使用主键值或者唯一二级索引列的值进行等值查找的方式称之为 const ,在MySQL中把在连接查询中对被驱动表使用主键值或者唯一二级索引列的值进行等值查找的查询执行方式称之为: eq_ref 。 - 在 n2 列上建立索引,涉及到的条件是 t2.n2 < ‘d’ ,可能用到的访问方法是range,假设使用 range 的访问方法对 t2 表的查询的话,需要回表之后再判断在 m2 列上的条件是否成立。
假设 m2 和 n2 列上都存在索引的话,那么就需要从这两个索引里选一个代价更小的去执行对 t2 表的查询。当然,建立了索引不一定使用索引,只有在 二级索引 + 回表 的代价比全表扫描的代价更低时才会使用索引。
另外,有时候连接查询的查询列表和过滤条件中可能只涉及被驱动表的部分列,而这些列都是某个索引的一部分,这种情况下即使不能使用 eq_ref 、 ref 、 ref_or_null 或者 range 这些访问方法执行对被驱动表的查询的话,也可以使用索引扫描,也就是 index 的访问方法来查询被驱动表。所以我们建议在真实工作中最好不要使用 * 作为查询列表,最好把实际需要用到的列作为查询列表。
基于块的嵌套循环连接(Block Nested-Loop Join)
扫描一个表的过程其实是先把这个表从磁盘上加载到内存中,然后从内存中比较匹配条件是否满足。现实生活表中的记录少则成千上万条,多则几百万、几千万甚至几亿条记录。内存里可能并不能完全存放的下表中所有的记录,所以在扫描表前边记录的时候后边的记录可能还在磁盘上,等扫描到后边记录的时候可能内存不足,所以需要把前边的记录从内存中释放掉。上面说过,采用嵌套循环连接算法的两表连接过程中,被驱动表可是要被访问好多次的,如果这个被驱动表中的数据特别多而且不能使用索引进行访问,那就需要从磁盘上多次读取这个表,这个 I/O 代价就非常大,所以我们需要想办法尽量减少访问被驱动表的次数
。
当被驱动表中的数据非常多时,每次访问被驱动表,被驱动表的记录会被加载到内存中,在内存中的每一条记录只会和驱动表结果集的一条记录做匹配,之后就会被从内存中清除掉。然后再从驱动表结果中拿出另一条记录,再一次把被驱动表的记录加载到内存中一遍,如此循环,驱动表结果中有多少条记录,就需要把被驱动表从磁盘上加载到内存中多少次。所以我们可不可以在把被驱动表的记录加载到内存的时候,一次性和多条驱动表中的记录做匹配,这样就可以大大减少重复从磁盘上加载被驱动表的代价了。在MySQL中提出了 join buffer 的概念, join buffer 就是执行连接查询前申请的一块固定大小的内存,先把若干条驱动表
中满足条件的结果放在这个 join buffer 中,然后开始扫描被驱动表,每一条被驱动表的记录一次性和 join buffer 中的多条驱动表记录做匹配,因为匹配的过程都是在内存中完成的,所以这样可以显著减少被驱动表的 I/O 代价。使用 join buffer 的过程大致如下:
所以最好是 join buffer 足够大,能容纳驱动表结果集中的所有记录,这样只需要访问一次被驱动表就可以完成连接操作了。在MySQL中把这种加入了 join buffer 的嵌套循环连接算法称之为 基于块的嵌套连接(Block Nested-Loop Join)算法。(可以通过explain SELECT s1.number, s1.name, s1.major , s2.subject, s2.score FROM score AS s2 right join student AS s1 on s1.number = s2.number;
看到)
这个 join buffer 的大小是可以通过启动参数或者系统变量 join_buffer_size 进行配置,默认大小为 262144字节 (256KB ),最小可以设置为128字节 。当然,对于优化被驱动表的查询来说,最好是为被驱动表加上效率高的索引,如果实在不能使用索引,并且自己的机器的内存也比较大可以尝试增大 join_buffer_size 的值来对连接查询进行优化。
需要注意的是,驱动表的记录并不是所有列都会被放到 join buffer 中,只有满足查询列表中的列和过滤条件中的列才会被放到 join buffer 中,所以最好不要把*
作为查询列表,这样我们就可以在有限大小的 join buffer 中一次性存放更多满足条件的记录。
更多关于mysql的知识分享,请前往博客主页。编写过程中,难免出现差错,敬请指出