额外知识:这是加载大数据量的sql文件的语句.
load data local infile '/root/sql/tb_sku1.sql' into table `tb_sku` fields terminated by ',' lines terminated by '\n';目录
索引概述
索引（index）是帮助MySQL高效获取数据的数据结构(有序)。在数据之外，数据库系统还维护着满足 特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据， 这样就可以在这些数据结构 上实现高级查找算法，这种数据结构就是索引。
1.没有索引的表，select * from user where age=45；
需要全局扫描效率极低。
索引的优缺点：
| 优势 | 劣势 |
| 提高数据检索的效率，降低数据库 的IO成本 | 索引列也是要占用空间的。 |
| 通过索引列对数据进行排序，降低 数据排序的成本，降低CPU的消 耗。 | 索引大大提高了查询效率，同时却也降低更新表的速度， 如对表进行INSERT、UPDATE、DELETE时，效率降低。 |
索引结构
MySQL的索引是在存储引擎层实现的，不同的存储引擎有不同的索引结构，主要包含以下几种：
上述是MySQL中所支持的所有的索引结构，接下来，我们再来看看不同的存储引擎对于索引结构的支持 情况。
注意： 我们平常所说的索引，如果没有特别指明，都是指B+树结构组织的索引。
索引结构
先讲一下二叉树
如果顺序插入会形成一个单向链表，结构如下
所以，如果选择二叉树作为索引结构，会存在以下缺点：
- 顺序插入时，会形成一个链表，查询性能大大降低。
- 大数据量情况下，层级较深，检索速度慢。
此时大家可能会想到，我们可以选择红黑树，红黑树是一颗自平衡二叉树，那这样即使是顺序插入数 据，最终形成的数据结构也是一颗平衡的二叉树,结构如下:
但是，即使如此，由于红黑树也是一颗二叉树，所以也会存在一个缺点：
- 大数据量情况下，层级较深，检索速度慢。
所以，在MySQL的索引结构中，并没有选择二叉树或者红黑树，而选择的是B+Tree，那么什么是 B+Tree呢？在详解B+Tree之前，先来介绍一个B-Tree。
B-Tree
B-Tree，B树是一种多叉路衡查找树，相对于二叉树，B树每个节点可以有多个分支，即多叉。 以一颗最大度数（max-degree）为5(5阶)的b-tree为例，那这个B树每个节点最多存储4个key，5 个指针：知识小贴士: 树的度数指的是一个节点的子节点个数。
我们可以通过一个数据结构可视化的网站来简单演示一下。 https://www.cs.usfca.edu/~galles/visualization/Algorithms.html
特点：
- 5阶的B树，每一个节点最多存储4个key，对应5个指针。
- 一旦节点存储的key数量到达5，就会裂变，中间元素向上分裂。
- 在B树中，非叶子节点和叶子节点都会存放数据。
B+Tree
B+Tree是B-Tree的变种，我们以一颗最大度数（max-degree）为4（4阶）的b+tree为例，来看一 下其结构示意图：
我们可以看到，两部分：
- 绿色框框起来的部分，是索引部分，仅仅起到索引数据的作用，不存储数据。
- 红色框框起来的部分，是数据存储部分，在其叶子节点中要存储具体的数据。
最终我们看到，B+Tree 与 B-Tree相比，主要有以下三点区别：
- 所有的数据都会出现在叶子节点。
- 叶子节点形成一个单向链表。
- 非叶子节点仅仅起到索引数据作用，具体的数据都是在叶子节点存放的。
MySQL中B+Tree
MySQL索引数据结构对经典的B+Tree进行了优化。在原B+Tree的基础上，增加一个指向相邻叶子节点 的链表指针，就形成了带有顺序指针的B+Tree，提高区间访问的性能，利于排序。
Hash
MySQL中除了支持B+Tree索引，还支持一种索引类型---Hash索引。
1). 结构
哈希索引就是采用一定的hash算法，将键值换算成新的hash值，映射到对应的槽位上，然后存储在 hash表中。
如果两个(或多个)键值，映射到一个相同的槽位上，他们就产生了hash冲突（也称为hash碰撞），可 以通过链表来解决。
2). 特点
A. Hash索引只能用于对等比较(=，in)，不支持范围查询（between，>，< ，...）
B. 无法利用索引完成排序操作
C. 查询效率高，通常(不存在hash冲突的情况)只需要一次检索就可以了，效率通常要高于B+tree索 引
3). 存储引擎支持
在MySQL中，支持hash索引的是Memory存储引擎。 而InnoDB中具有自适应hash功能，hash索引是 InnoDB存储引擎根据B+Tree索引在指定条件下自动构建的
为什么InnoDB存储引擎选择B+Tree索引结构
A. 相对于二叉树，层级更少，搜索效率高；
B. 对于B-tree，无论是叶子节点还是非叶子节点，都会保存数据，这样导致一页中存储 的键值减少，指针跟着减少，要同样保存大量数据，只能增加树的高度，导致性能降低；
C. 相对Hash索引，B+tree支持范围匹配及排序操作；
索引分类
在MySQL数据库，将索引的具体类型主要分为以下几类：主键索引、唯一索引、常规索引、全文索引。
在InnoDB存储引擎中，根据索引的存储形式，有可以分为以下两种：
二级索引也可以叫非聚集索引，也叫辅助索引。
聚集索引选取规则：
- 如果存在主键，主键索引就是聚集索引。
- 如果不存在主键，将使用第一个唯一（UNIQUE）索引作为聚集索引。
- 如果表没有主键，或没有合适的唯一索引，则InnoDB会自动生成一个rowid作为隐藏的聚集索 引。
聚集索引和二级索引的具体结构如下：
聚集索引：id为主键，主键为聚集索引，5叶子节点下的row就是id为5这行数据。
二级索引：name建立的索引为二级索引，子节点为name的值，叶子节点为id值。
接下来，我们来分析一下，当我们执行如下的SQL语句时，具体的查找过程是什么样子的。
select * from user where name='Arm';
执行流程为先查询Arm，他先在二级索引查询，走lee左侧，因为A在L左边，以此类推走到子节点10，拿到10去聚集索引查比15小走左侧，以此类推查到row，拿到数据。
回表查询：通俗来讲他就是二次查询表，就是先查二级索引，拿到主键值，再去聚集索引查一遍拿到数据。
问题：InnoDB主键索引的B+tree高度为多高呢?
假设:
一行数据大小为1k，一页中可以存储16行这样的数据。InnoDB的指针占用6个字节的空 间，主键即使为bigint，占用字节数为8。
高度为2：
n * 8 + (n + 1) * 6 = 16*1024 , 算出n约为 1170
1171* 16 = 18736
也就是说，如果树的高度为2，则可以存储 18000 多条记录。
高度为3：
1171 * 1171 * 16 = 21939856
也就是说，如果树的高度为3，则可以存储 2200w 左右的记录。
索引语法
此时表结构tb_user
创建索引
CREATE [UNIQUE|FUllTEXT] INDEX index_name ON table_name (index_col_name,...);uniqe:代表唯一索引
fulltext：代表全局索引
不加，默认创建常规索引
查看索引
SHOW INDEX FROM table_name ;删除索引
DROP INDEX index_name ON table_name ;
create index idx_user_name on tb_user(name)
show index from tb_usercreate UNIQUE index idx_user_phone on tb_user(phone)
create index idx_user_pro_age_sta on tb_user(profession,age,status)
CREATE index idx_user_email on tb_user(email)
drop index idx_user_email on tb_user
组合索引：组合索引对顺序在查询是有关系，具体稍后分析。
SQL性能分析
SQL执行频率
MySQL 客户端连接成功后，通过 show [session|global] status 命令可以提供服务器状态信 息。通过如下指令，可以查看当前数据库的INSERT、UPDATE、DELETE、SELECT的访问频次：
-- session 是查看当前会话 ;
-- global 是查询全局数据 ;
SHOW GLOBAL STATUS LIKE 'Com_______';
慢查询日志
慢查询日志记录了所有执行时间超过指定参数（long_query_time，单位：秒，默认10秒）的所有 SQL语句的日志。 MySQL的慢查询日志默认没有开启，我们可以查看一下系统变量 slow_query_log。
查看慢查询日志是否开启
show variables like 'slow_query_log';这是Linux如果要开启慢查询日志，需要在MySQL的配置文件（/etc/my.cnf）中配置如下信息：
# 开启MySQL慢日志查询开关
slow_query_log=1
# 设置慢日志的时间为2秒，SQL语句执行时间超过2秒，就会视为慢查询，记录慢查询日志 long_query_time=2
配置完毕之后，通过以下指令重新启动MySQL服务器进行测试，查看慢日志文件中记录的信息 /var/lib/mysql/localhost-slow.log。
systemctl restart mysqld
Windows需要找到你MySQL数据存放位置 找到my.ini修改如下配置
最终在数据存放位置生成文件，文件名为上方自定义的文件名字
超过指定时间会记录查询数据效率较低的数据。
peofile详情
show profiles 能够在做SQL优化时帮助我们了解时间都耗费到哪里去了。通过have_profiling 参数，能够看到当前MySQL是否支持profile操作：
SELECT @@have_profiling ;可以看到，当前MySQL是支持 profile操作的，但是开关是关闭的。可以通过set语句在 session/global级别开启profiling：
先看一下profile默认开关是否打开
#0为没有打开，1为打开
select @@profiling;为0时需要执行下面语句，开启profiling
SET profiling = 1;
查看每个SQL的耗时情况
show profiles
查看SQL执行耗时的每个阶段 query_id 是每个sql出来的id
show profile for query query_id还可以查看CPU的耗时情况
show profile cpu for query query_idexplain执行计划
EXPLAIN 或者 DESC命令获取 MySQL 如何执行 SELECT 语句的信息，包括在 SELECT 语句执行 过程中表如何连接和连接的顺序。
语法：
-- 直接在select语句之前加上关键字 explain / desc
EXPLAIN SELECT 字段列表 FROM 表名 WHERE 条件 ;
案例：
explain select * from tb_user where name='白起'
每个字段的含义：
type介绍：
null：当查询时不查询表例如 ：select ‘A’；
system：访问系统表才会这个类别
const:一般时主键访问才会时const，或者唯一索引
eq_ref:相对于ref来说就是使用的是唯一索引，对于每个索引键值，只有唯一的一条匹配记录（在联表查询中使用primary key或者unique key作为关联条件）
ref：用非唯一性索引或者唯一索引的前缀扫描，返回匹配某个单独值的记录行。
range:索引范围扫描，常见于<、<=、>、>=、between等操作符（因为customer_id是索引，所以只要查找索引的某个范围即可，通过索引找到具体的数据）
index：这个是对索引扫描遍历索引，效率也不高。
all：全局扫描
索引使用
验证索引效率
在为建立索引之前,执行如下SQL语句,查看SQL耗时.我这张表数据是10000000条数据
select * from tb_sku where sn='100000003145001'
这是因为主键索引所以查询很快
select * from tb_sku where id=1 
为tb_sku中的sn创建索引
create index idx_sku_sn on tb_sku(sn)
再次执行select * from tb_sku where sn='100000003145001'查询速度
最左前缀法则
组合索引数据结构
如果索引了多列（联合索引），要遵守最左前缀法则。最左前缀法则指的是查询从索引的最左列开始， 并且不跳过索引中的列。如果跳跃某一列，索引将会部分失效(后面的字段索引失效)。
#会走索引
EXPLAIN SELECT * from tb_user where PROfession='软件工程' and age='31' and status ='0'
#会走索引
EXPLAIN SELECT * from tb_user where PROfession='软件工程' and age='31'
#会走索引
EXPLAIN SELECT * from tb_user where PROfession='软件工程'
#不会走索引
EXPLAIN SELECT * from tb_user where age='31' and status ='0'
#不会走索引
EXPLAIN SELECT * from tb_user where status ='0'
#会走索引但是直走部分索引PROfession,而status不会走
EXPLAIN SELECT * from tb_user where PROfession='软件工程' and status ='0'
# 会走索引,最左前缀法则跟查询条件顺序无关
EXPLAIN SELECT * from tb_user where age='31' and PROfession='软件工程' and status ='0'具体说明如下:
#会走索引
EXPLAIN SELECT * from tb_user where PROfession='软件工程' and age='31' and status ='0'执行结果:执行索引key是idx_user_pro_age_su ,索引长度42
#会走索引
EXPLAIN SELECT * from tb_user where PROfession='软件工程' and age='31' 执行结果:执行索引key是idx_user_pro_age_su ,索引长度38 ;说明status索引长度为4
#会走索引
EXPLAIN SELECT * from tb_user where PROfession='软件工程' 执行结果:执行索引key是idx_user_pro_age_su ,索引长度38 ;说明age索引长度为2 ,而prodession索引长度为36
#不会走索引
EXPLAIN SELECT * from tb_user where age='31' and status ='0' 走的是全局扫描,没有走索引,type是ALL
#不会走索引
EXPLAIN SELECT * from tb_user where status ='0'走的是全局扫描,没有走索引,type是ALL
#会走索引但是直走部分索引PROfession,而status不会走
EXPLAIN SELECT * from tb_user where PROfession='软件工程' and status ='0'执行结果:执行索引key是idx_user_pro_age_su ,索引长度36;因为上面已经判断出各个的索引长度,36代表是profession的索引长度,因此只走了profession索引并未走status索引
# 会走索引,最左前缀法则跟查询条件顺序无关
EXPLAIN SELECT * from tb_user where age='31' and PROfession='软件工程' and status ='0' 执行结果:执行索引key是idx_user_pro_age_su ,索引长度42;走的全部索引
范围查询
联合索引中，出现范围查询(>,<)，范围查询右侧的列索引失效。
例如:此条查询语句status没有走索引
EXPLAIN SELECT * from tb_user where PROfession='软件工程' and age>30 and status ='0'
执行结果:执行索引key是idx_user_pro_age_su ,索引长度38;走的部分索引,prpfession和age索引,status并未走索引.
怎么规避这种情况:尽量用>=,<=
EXPLAIN SELECT * from tb_user where PROfession='软件工程' and age>=30 and status ='0'
执行结果:执行索引key是idx_user_pro_age_su ,索引长度42;走的全部索引
索引失效情况
1.索引列运算
不要在索引列上进行运算操作， 索引将失效。
EXPLAIN SELECT * from tb_user WHERE phone='17799990015'
走的是索引idx_user_phone
EXPLAIN SELECT * from tb_user WHERE SUBSTRING(phone,10,2)='15'走的全局是扫描,因为phone列做了运算,索引失效
2. 字符串的类型不加引号
EXPLAIN SELECT * from tb_user WHERE phone=17799990015
因为phone是字符串类型,但是没有加引号,所以索引失效,走全局扫描
EXPLAIN SELECT * from tb_user WHERE phone='17799990015'
走的是索引idx_user_phone
3.模糊查询
如果仅仅是尾部模糊匹配，索引不会失效。如果是头部模糊匹配，索引失效。
EXPLAIN select * from tb_user WHERE profession like '软件%'
走的联合索引,没有违背最左原则
EXPLAIN select * from tb_user WHERE profession like '%件'索引失效,走全局扫描,因为模糊查询前面不能有%
EXPLAIN select * from tb_user WHERE profession like '%件%'
双百分号亦是如此,都是不会走索引.
4. or连接的条件
用or分割开的条件， 如果or前的条件中的列有索引，而后面的列中没有索引，那么涉及的索引都不会 被用到。只有两侧都有索引才会生效
EXPLAIN SELECT * from tb_user where id =10 or age=23;
age没有索引,id为主键索引,or关键字一侧有索引一侧没索引,索引不生效
EXPLAIN SELECT * from tb_user where id =10 or phone='17799990015'
两侧都有索引,走的是主键索引和phone索引
5.数据分布影响
如果MySQL评估使用索引比全表更慢，则不使用索引。
先看一下全表数据
EXPLAIN SELECT * from tb_user where phone>= '17799990005'
这条SQL没有违背以上所有原则,但是所查数据大部分都是大于17799990005的数据,系统会觉得,走索引比较慢,还是使用全表扫描快.
EXPLAIN SELECT * from tb_user where phone >= '17799990020'这是搜索的较少的数据所以,走的索引.
is null与is not null在数据分布中是,看数据分布情况,如果查摸个字段的null值多,则索引失效,is not null则索引生效,反之不为null的值多,则null走索引,is not null索引失效走全表扫描.
6.SQL提示
SQL提示,是优化数据库的一个重要手段,简单来说,就是在SQL语句中加入一些人为的提示来表达到优化操作的目的.
explain select * from tb_user where profession = '软件工程';
此时我们走的联合索引
现在我们为profession单独创建一个索引
CREATE index idx_user_pro on tb_user(profession)
show INDEX from tb_user
再次执行 代码
explain select * from tb_user where profession = '软件工程';发现还是走的联合索引,并未走单列索引,这是MySQL优化自动选择的结果
怎指定索引:
use index:建议MySQL使用哪一个索引完成此次查询（仅仅是建议，mysql内部还会再次进 行评估）。
explain select * from tb_user use index(idx_user_pro) where profession = '软件工
程';
ignore index ： 忽略指定的索引。
explain select * from tb_user ignore index(idx_user_pro) where profession = '软件工
程';
force index ： 强制使用索引。
explain select * from tb_user force index(idx_user_pro) where profession = '软件工
程';
覆盖索引
尽量使用覆盖索引，减少select *。 那么什么是覆盖索引呢？ 覆盖索引是指 查询使用了索引，并 且需要返回的列，在该索引中已经全部能够找到 。
此时我们把tb_user里的索引进行删除保留以下几个索引
drop index idx_user_pro on tb_user;
show INDEX from tb_user;
此时执行以下SQL并看执行计划
#索引里没有id,为什么不用回表查询,因为此索引是二级索引,索引叶子节点存储的正好是id
explain select id, profession from tb_user where profession = '软件工程' and age =31 and status = '0' ;
explain select id,profession,age, status from tb_user where profession = '软件工程'and age = 31 and status = '0' ;
#而此时索引里并没有name字段需要回表查询
explain select id,profession,age, status, name from tb_user where profession = '软件工程' and age = 31 and status = '0' ;
explain select * from tb_user where profession = '软件工程' and age = 31 and status= '0'; 上面SQL的执行计划依次是:
因为我的mysql版本太低,建议用8,没有体现出效果.真是效果应该是
它的含义是:
这就涉及到之前讲的的回表查询.
举个例子:
此时我们看图,这张表有主键索引id,二级索引name;
此时我们对三个SQL语句进行分析
select * from tb_user where id = 2;
selet id,name from tb_user where name = 'Arm';
selet id,name,gender from tb_user where name = 'Arm';
我们对第一条SQL进行分析,此时sql会走主键索引,只查询一次就能拿到数据,
第二条SQL:会走二级索引name,而且所有数据都能查到,不用回表查询
第三条SQL:会走二级索引name,但是gender字段没有,需要回表查询,拿到id值去进行二次查询拿到数据.
前缀索引
当字段类型为字符串（varchar，text，longtext等）时，有时候需要索引很长的字符串，这会让 索引变得很大，查询时，浪费大量的磁盘IO， 影响查询效率。此时可以只将字符串的一部分前缀，建 立索引，这样可以大大节约索引空间，从而提高索引效率。
语法
create index idx_xxxx on table_name(column(n)) ;前缀长度
可以根据索引的选择性来决定，而选择性是指不重复的索引值（基数）和数据表的记录总数的比值， 索引选择性越高则查询效率越高， 唯一索引的选择性是1，这是最好的索引选择性，性能也是最好的。
计算唯一索引的选择性
select count(distinct email) / count(*) from tb_user ;
select count(distinct substring(email,1,5)) / count(*) from tb_user ;通过查询接近1这里去五个
create index idx_email_5 on tb_user(email(5))
show index from tb_userexplain select * from tb_user where email='daqiao66@sina.com';前缀索引主要针对文本等大数据,因为创建索引要大量的内存,所以截取一部分创建索引.
前缀索引的查询索引流程
sql先去二级索引email进行查询,查询到拿到id去回表查询,拿到数据再次进行对比如果比对成功则取出数据,因为二级索引Email是截取索引,下面不一定只有一个值,需要进行二次查询,直至获取完数据,返回数据.
单列索引与联合索引
单列索引:即一个索引只包含单个列。
联合索引:即一个索引包含了多个列。
在业务场景中，如果存在多个查询条件，考虑针对于查询字段建立索引时，建议建立联合索引， 而非单列索引。
联合索引的结构:
索引设计原则
1).针对于数据量较大，且查询比较频繁的表建立索引。
2). 针对于常作为查询条件（where）、排序（order by）、分组（group by）操作的字段建立索 引。
3). 尽量选择区分度高的列作为索引，尽量建立唯一索引，区分度越高，使用索引的效率越高。
4). 如果是字符串类型的字段，字段的长度较长，可以针对于字段的特点，建立前缀索引。
5). 尽量使用联合索引，减少单列索引，查询时，联合索引很多时候可以覆盖索引，节省存储空间， 避免回表，提高查询效率。
6). 要控制索引的数量，索引并不是多多益善，索引越多，维护索引结构的代价也就越大，会影响增 删改的效率。 1 create unique index idx_user_phone_name on tb_user(phone,name);
7). 如果索引列不能存储NULL值，请在创建表时使用NOT NULL约束它。当优化器知道每列是否包含 NULL值时，它可以更好地确定哪个索引最有效地用于查询。
235
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
