MySQL索引原理

索引

索引概述

MySQL官方对索引的定义为:索引(index)是帮助MySQL高效获取数据的数据结构(有序)。

在数据之外，数据库系统还维护者满足特定查找算法的数据结构，这些数据结构以某种方式引用(指向)数据， 这样就可以在这些数据结构上实现高级查找算法，这种数据结构就是索引。

如下面的示意图所示 :

左边是数据表，一共有两列七条记录，最左边的是数据记录的物理地址(注意逻辑上相邻的记录在磁盘上也并不是 一定物理相邻的)。

为了加快Col2的查找，可以维护一个右边所示的二叉查找树，每个节点分别包含索引键值和一 个指向对应数据记录物理地址的指针，这样就可以运用二叉查找快速获取到相应数据。

一般来说索引本身也很大，不可能全部存储在内存中，因此索引往往以索引文件的形式存储在磁盘上。索引是数据库中用来提高性能的最常用的工具。

磁盘IO和预读

磁盘读取数据靠的是机械运动，每次读取数据花费的时间可以分为寻道时间、旋转延迟、传输时间三个部分；

• 寻道时间指的是磁臂移动到指定磁道所需要的时间，主流磁盘一般在5ms以下；

• 旋转延迟就是我们经常听说的磁盘转速，比如一个磁盘7200转，表示每分钟能转7200次，也就是说1秒钟能转120次，旋转延迟就是1/120/2 = 4.17ms；

• 传输时间指的是从磁盘读出或将数据写入磁盘的时间，一般在零点几毫秒，相对于前两个时间可以忽略不计

那么访问一次磁盘的时间，即一次磁盘IO的时间约等于5+4.17 = 9ms左右，听起来还挺不错的，但要知道一台500 -MIPS（Million Instructions Per Second）的机器每秒可以执行5亿条指令，因为指令依靠的是电的性质，换句话说执行一次IO的时间可以执行约450万条指令，数据库动辄十万百万乃至千万级数据，每次9毫秒的时间，显然是个灾难。

考虑到磁盘IO是非常高昂的操作，计算机操作系统做了一些优化，当一次IO时，不光把当前磁盘地址的数据，而是把相邻的数据也都读取到内存缓冲区内，因为局部预读性原理告诉我们，当计算机访问一个地址的数据的时候，与其相邻的数据也会很快被访问到。

每一次IO读取的数据我们称之为一页(page)。具体一页有多大数据跟操作系统有关，一般为4k或8k，也就是我们读取一页内的数据时候，实际上才发生了一次IO，这个理论对于索引的数据结构设计非常有帮助。

索引的优势劣势

优势

1. 类似于书籍的目录索引，提高数据检索的效率，降低数据库的IO成本。
2. 通过索引列对数据进行排序，降低数据排序的成本，降低CPU的消耗。

劣势

1. 实际上索引也是一张表，该表中保存了主键与索引字段，并指向实体类的记录，所以索引列也是要占用空间的。
2. 虽然索引大大提高了查询效率，同时却也降低更新表的速度，如对表进行INSERT、UPDATE、DELETE。因为更新表时，MySQL 不仅要保存数据，还要保存一下索引文件每次更新添加了索引列的字段，都会调整因为更新所带来的键值变化后的索引信息。

索引结构

索引是在MySQL的存储引擎层中实现的，而不是在服务器层实现的。所以每种存储引擎的索引都不一定完全相同，也不是所有的存储引擎都支持所有的索引类型的。MySQL目前提供了以下4种索引:

• BTREE 索引 : 最常见的索引类型，大部分索引都支持 B 树索引。

• HASH 索引:只有Memory引擎支持 ， 使用场景简单 。

• R-tree 索引(空间索引):空间索引是MyISAM引擎的一个特殊索引类型，主要用于地理空间数据类型，通常 使用较少，不做特别介绍。

• Full-text (全文索引) :全文索引也是MyISAM的一个特殊索引类型，主要用于全文索引，InnoDB从 Mysql5.6版本开始支持全文索引。

MyISAM、InnoDB、Memory三种存储引擎对各种索引类型的支持

索引	InnoDB引擎	MyISAM引擎	Memory引擎
BTREE索引	yes	yes	yes
HASH 索引	no	no	Yes
R-tree 索引	no	yes	No
Full-text	5.6后yes	yes	no

平常所说的索引，如果没有特别指明，都是指B+树(多路搜索树，并不一定是二叉的)结构组织的索引。其中 聚集索引、复合索引、前缀索引、唯一索引默认都是使用 B+tree 索引，统称为索引。

BTREE索引结构

BTree又叫多路平衡搜索树，一颗m叉的BTree特性如下:

• 树中每个节点最多包含m个孩子。
• 除根节点与叶子节点外，每个节点至少有[ceil(m/2)]个孩子。
• 若根节点不是叶子节点，则至少有两个孩子。
• 所有的叶子节点都在同一层。
• 每个非叶子节点由n个key与n+1个指针组成，其中[ceil(m/2)-1] <= n <= m-1

以5叉BTree为例，key的数量:公式推导[ceil(m/2)-1] <= n <= m-1。所以 2 <= n <=4 。当n>4时，中间节点分裂到父节点，两边节点分裂。

演变过程如下：

1. 插入前4个字母 C N G A

2. 插入H，n>4，中间元素G字母向上分裂到新的节点

3. 插入E，K，Q不需要分裂

4. 插入M，中间元素M字母向上分裂到父节点G

5. 插入F，W，L，T不需要分裂

6. 插入Z，中间元素T向上分裂到父节点中

7. 插入D，中间元素D向上分裂到父节点中。然后插入P，R，X，Y不需要分裂

8. 最后插入S，NPQR节点n>5，中间节点Q向上分裂，但分裂后父节点DGMT的n>5，中间节点M向上分裂

到此，该BTREE树就已经构建完成了， BTREE树 和 二叉树 相比， 查询数据的效率更高， 因为对于相同的数据量来说，BTREE的层级结构比二叉树小，因此搜索速度快。

B+TREE结构

B+Tree为BTree的变种，B+Tree与BTree的区别为：

• n叉B+Tree最多含有n个key，而BTree最多含有n-1个key。
• B+Tree的叶子节点保存所有的key信息，依key大小顺序排列。
• 所有的非叶子节点都可以看作是key的索引部分。

由于B+Tree只有叶子节点保存key信息，查询任何key都要从root走到叶子。所以B+Tree的查询效率更加稳定。

MySQL中的B+TREE

MySql索引数据结构对经典的B+Tree进行了优化。在原B+Tree的基础上，增加一个指向相邻叶子节点的链表指针，就形成了带有顺序指针的B+Tree，提高区间访问的性能。

MySQL中的 B+Tree 索引结构示意图:

索引分类

1）单值索引 :即一个索引只包含单个列，一个表可以有多个单列索引

2）唯一索引 :索引列的值必须唯一，但允许有空值

3）复合索引 :即一个索引包含多个列

索引语法

索引在创建表的时候，可以同时创建， 也可以随时增加新的索引。

准备环境：

-- 创建库
create database demo_01 default charset=utf8mb4;
use demo_01;

-- 创建表
CREATE TABLE `city` (
  `city_id` int(11) NOT NULL AUTO_INCREMENT,
  `city_name` varchar(50) NOT NULL,
  `country_id` int(11) NOT NULL,
  PRIMARY KEY (`city_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE `country` (
  `country_id` int(11) NOT NULL AUTO_INCREMENT,
  `country_name` varchar(100) NOT NULL,
 PRIMARY KEY (`country_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

-- 插入数据
insert into `city` (`city_id`, `city_name`, `country_id`) values(1,'西安',1); 
insert into `city` (`city_id`, `city_name`, `country_id`) values(2,'NewYork',2); 
insert into `city` (`city_id`, `city_name`, `country_id`) values(3,'北京',1); 
insert into `city` (`city_id`, `city_name`, `country_id`) values(4,'上海',1);

insert into `country` (`country_id`, `country_name`) values(1,'China');
insert into `country` (`country_id`, `country_name`) values(2,'America');
insert into `country` (`country_id`, `country_name`) values(3,'Japan');
insert into `country` (`country_id`, `country_name`) values(4,'UK');
 

创建索引

语法：

CREATE [UNIQUE|FULLTEXT|SPATIAL] INDEX index_name [USING index_type]
ON tbl_name(index_col_name,...)

index_col_name : column_name[(length)][ASC | DESC]

示例：为city表中的city_name字段创建索引

mysql> create index idx_city_name on city(city_name);
Query OK, 0 rows affected (0.17 sec)
Records: 0  Duplicates: 0  Warnings: 0

查看索引

语法：

show index from table_name;

示例：

mysql> show index from city\G;
*************************** 1. row ***************************
        Table: city
   Non_unique: 0
     Key_name: PRIMARY
 Seq_in_index: 1
  Column_name: city_id
    Collation: A
  Cardinality: 4
     Sub_part: NULL
       Packed: NULL
         Null: 
   Index_type: BTREE
      Comment: 
Index_comment: 
      Visible: YES
   Expression: NULL
*************************** 2. row ***************************
        Table: city
   Non_unique: 1
     Key_name: idx_city_name
 Seq_in_index: 1
  Column_name: city_name
    Collation: A
  Cardinality: 4
     Sub_part: NULL
       Packed: NULL
         Null: 
   Index_type: BTREE
      Comment: 
Index_comment: 
      Visible: YES
   Expression: NULL
2 rows in set (0.06 sec)

删除索引

语法：

DROP INDEX index_name ON tbl_name;

示例： 想要删除city表上的索引idx_city_name，可以操作如下:

mysql> drop index idx_city_name on city;
Query OK, 0 rows affected (0.07 sec)
Records: 0  Duplicates: 0  Warnings: 0

修改索引

alter table tb_name add primary key(column_list); 

该语句添加一个主键，这意味着索引值必须是唯一的，且不能为NULL

alter table tb_name add unique index_name(column_list);

这条语句创建索引的值必须是唯一的(除了NULL外，NULL可能会出现多次)

alter table tb_name add index index_name(column_list);

添加普通索引， 索引值可以出现多次。

alter table tb_name add fulltext index_name(column_list);

该语句指定了索引为FULLTEXT， 用于全文索引

复合索引

创建复合索引

CREATE INDEX idx_name_email_status ON tb_seller(NAME,email,STATUS);

相当

对name 创建索引 ;
对name , email 创建了索引 ;
对name , email, status 创建了索引 ;

索引设计原则

索引的设计可以遵循一些已有的原则，创建索引的时候请尽量考虑符合这些原则，便于提升索引的使用效率，更高效的使用索引。

• 对查询频次较高，且数据量比较大的表建立索引。
• 索引字段的选择，最佳候选列应当从where子句的条件中提取，如果where子句中的组合比较多，那么应当挑选最常用、过滤效果最好的列的组合。
• 使用唯一索引，区分度越高，使用索引的效率越高。
• 索引可以有效的提升查询数据的效率，但索引数量不是多多益善，索引越多，维护索引的代价自然也就水涨船高。
• 使用短索引，索引创建之后也是使用硬盘来存储的，因此提升索引访问的I/O效率，也可以提升总体的访问效率。
• 利用最左前缀，N个列组合而成的组合索引，那么相当于是创建了N个索引，如果查询时where子句中使用了组成该索引的前几个字段，那么这条查询SQL可以利用组合索引来提升查询效率。

索引设计原理：

通过对磁盘IO的了解，我们需要一种数据结构让每次查找数据时把磁盘IO次数控制在一个很小的数量级，最好是常数数量级。因此一个高度可控的多路搜索树慢慢发展而来。

由于每个节点是一次io所读取的数据，也就是1024字节；如果在非叶子节点存储数值和表中的具体行，那么会导致每个节点能够存储的数据种类个数降低。无形中增加了树的高度，才能存储下所有分类的数据。

所以数据都存储在叶子节点上而不是存储在根节点或者分支中。这种存储结构可以降低树的高度，还可以使数据每次搜索的时间变得稳定。

通过上面的分析，我们知道IO次数取决于b+数的高度h，假设当前数据表的数据为N，每个磁盘块空间大小是固定的，也就是一个数据页的大小，如果每一个数据项占的空间越小，那么数据项的数量越多，也就是节点中能分的区域越多，树结构越宽广，从而可以使树的高度越低。

所以在设计索引字段时，索引字段大小要尽量的小。

辅助索引和聚焦索引

MySQL数据库中的B+树索引可以分为 聚集索引（clustered index）和辅助索引（secondary index）

相同点：

• 不管是聚集索引还是辅助索引，其内部都是B+树的形式，即高度是平衡的，叶子结点存放着所有的数据。

不同点：

• 聚集索引叶子节点直接存储一行数据的内容，辅助索引叶子节点中数字指向数据的具体地址。

聚集索引（主键索引）

InnoDB中表中数据按照主键顺序存放，聚集索引（clusteredindex）就是按照每张表的主键构造一棵B+树，同时叶子结点存放的即为整张表的行记录数据，也将聚集索引的叶子结点称为数据页。

聚集索引的这个特性决定了索引组织表中数据也是索引的一部分。同B+树数据结构一样，每个数据页都通过一个双向链表来进行链接。

• 如果未定义主键，MySQL会取第一个唯一索引（unique）而且只含非空列（NOT NULL）作为主键，InnoDB使用它作为聚簇索引。
• 如果没有这样的列，InnoDB就自己产生一个这样的ID值，它有六个字节，而且是隐藏的，使其作为聚簇索引。

由于实际的数据页只能按照一棵B+树进行排序，因此每张表只能拥有一个聚集索引。

聚集索引优点：

1. 对主键的排序查找和范围查找速度非常快，叶子节点的数据就是用户所要查询的数据。前后数据查询有双向链表。
2. 范围查询（range query），即如果要查找主键某一范围内的数据，通过叶子节点的上层中间节点就可以得到页的范围，之后直接读取数据页即可。

辅助索引（普通索引）

表中除了聚集索引外其他索引都是辅助索引（Secondary Index，也称为非聚集索引）

与聚集索引的区别：辅助索引的叶子节点不包含行记录的全部数据，叶子节点除了包含键值以外，每个叶子节点中的索引行中还包含一个书签（bookmark）。该书签用来告诉InnoDB存储引擎去哪里可以找到与索引相对应的行数据。