mysql高级

    一.mysql逻辑架构:

         

 1.连接层
        最上层是一些客户端和连接服务，包含本地sock通信和大多数基于客户端/服务端工具实现的类似于tcp/ip的通信。主要完成一些类似于连接处理、授权认证、及相关的安全方案。在该层上引入了线程池的概念，为通过认证安全接入的客户端提供线程。同样在该层上可以实现基于SSL的安全链接。服务器也会为安全接入的每个客户端验证它所具有的操作权限。
2.服务层
        第二层架构主要完成大多少的核心服务功能，如SQL接口，并完成缓存的查询，SQL的分析和优化及部分内置函数的执行。所有跨存储引擎的功能也在这一层实现，如过程、函数等。在该层，服务器会解析查询并创建相应的内部解析树，并对其完成相应的优化如确定查询表的顺序，是否利用索引等，最后生成相应的执行操作。如果是select语句，服务器还会查询内部的缓存。如果缓存空间足够大，这样在解决大量读操作的环境中能够很好的提升系统的性能。
3.引擎层
        存储引擎层，存储引擎真正的负责了MySQL中数据的存储和提取，服务器通过API与存储引擎进行通信。不同的存储引擎具有的功能不同，这样我们可以根据自己的实际需要进行选取。
4.存储层
        数据存储层，主要是将数据存储在运行于裸设备的文件系统之上，并完成与存储引擎的交互。

      特点:插件式存储引擎架构将查询处理和其他的系统任务以及数据的存储提取分离.

二:储存引擎

      

       常用:

 

 三.索引优化分析

      3.1.sql性能慢,等待时间长：

                    查询语句太烂/索引失效/关联查询太多/服务调优及各个参数设置.

         注意: sql执行顺序:机读顺序是从from开始

     3.2.索引：

       索引(Index)是帮助MySQL高效获取数据的数据结构。可以得到索引的本质：索引是数据结构。 排序和查找数据的结构.      

        除了数据本身之外，数据库还维护着一个满足特定查找算法的数据结构，这些数据结构以某种方式指向数据， 任务信息这样就可以在这些数据结构的基础上实现高级查找算法，这种数据结构就是索引。

  类似这种结构:

         索引如果没有特别说明,都是B树结构组织的索引.其中聚合索引,次要索引,覆盖索引,复合索引,前缀索引,唯一索引都是使用B+树索引,除了B+树这种类型索引之外,还有哈希索引等.

      索引的优势及其劣势:

          优势:提高数据检索的效率，降低数据库的IO成本,通过索引列对数据进行排序，降低数据排序的成本，降低了CPU的消耗.

          劣势:实际上索引也是一张表，该表保存了主键与索引字段，并指向实体表的记录，所以索引列也是要占用空间的虽然索引大大提高了查询速度，同时却会降低更新表的速度，如对表进行INSERT、UPDATE和DELETE。因为更新表时，MySQL不仅要保存数据，还要保存一下索引文件每次更新添加了索引列的字段，都会调整因为更新所带来的键值变化后的索引信息,索引只是提高效率的一个因素，如果你的MySQL有大数据量的表，就需要花时间研究建立最优秀的索引，或优化查询语句.

     分类:

        单值索引 即一个索引只包含单个列，一个表可以有多个单列索引
        唯一索引 索引列的值必须唯一，但允许有空值
        复合索引 即一个索引包含多个列

基本语法:

         创建: CREATE [UNIQUE ] INDEX indexName ON mytable(columnname(length)); 如果是CHAR，VARCHAR类型，length可以小于字段实际长度；如果是BLOB和TEXT类型，必须指定length。
        ALTER mytable ADD [UNIQUE ] INDEX [indexName] ON (columnname(length))
         删除:DROP INDEX [indexNames]ON mytable;
        查看 SHOW INDEX FROM table_ name

   有四种方式来添加数据表的索引：
        ALTER TABLE tbL ame ADD PRIMARY KEY (column_ st) 该语句添加一个主键，这意味着索引值必须是唯一的，且不能为NULL。
        ALTER TABLE tbl_ name ADD UNIQUE index_name (column_list)：这条语句创建索引的值必须是唯一的(除了NULL外，NULL可能会出现多次)。
        ALTER TABLE tbl_ name ADD INDEX index_ name (column_list)：添加普通索引，索引值可出现多次。
        ALTER TABLE tbl_ name ADD FULLTEXT index_name (column_list)该语句指定了索引为FULLTEXT，用于全文索引。

    索引(BTREE树)结构:

           

 【初始化介绍】
        一颗b+树，浅蓝色的块我们称之为一个磁盘块，可以看到每个磁盘块包含几个数据项(深蓝色所示)和指针(黄色所示)，如磁盘块1包含数据项17和35，包含指针P1、P2、P3,
P1表示小于17的磁盘块，P2表示在17和35之间的磁盘块，P3表示大于35的磁盘块。
真实的数据存在于叶子节点即3、5、9、10、13、15、28、29、36、60、75、79、90、99。
非叶子节点不存储真实的数据，只存储指引搜索方向的数据项，如17、35并不真实存在于数据表中。
【查找过程】
        如果要查找数据项29，那么首先会把磁盘块1由磁盘加载到内存，此时发生一次IO，在内存中用二分查找确定29在17和35之间，锁定磁盘块1的P2指针，内存时间因为非常短(相比磁盘的IO)可以忽略不计，通过磁盘块1的P2指针的磁盘地址把磁盘块3由磁盘加载到内存，发生第二次IO，29在26和30之间，锁定磁盘块3的P2指针，通过指针加载磁盘块8到内存，发生第三次IO，同时内存中做二分查找找到29，结束查询，总计三次IO。
真实的情况是，3层的b+树可以表示上百万的数据，如果上百万的数据查找只需要三次IO，性能提高将是巨大的，如果没有索引，每个数据项都要发生一次IO，那么总共需要百万次的IO，显然成本非常高。

    适用条件:

        需要创建索引：

        1.主键自动建立唯一索引
        2.频繁作为查询条件的字段应该创建索引
        3.查询中与其它表关联的字段，外键关系建立索引
        4.频繁更新的字段不适合创建索引 因为每次更新不单单是更新了记录还会更新索引，加重了IO负担
        5.Where条件里用不到的字段不创建索引
        6.单键/组合索引的选择问题，why?(在高并发下倾向创建组合索引);
        7.查询中排序的字段，排序字段若通过索引去访问将大大提高排序速度
        8.查询中统计或者分组字段

       不需要创建索引:
        1.表记录太少
        2.经常增删改的表 ：提高了查询速度，同时却会降低更新表的速度，如对表进行INSERT、UPDATE和DELETE哪些情况不要创建索引 因为更新表时，MySQL不仅要保存数据，还要保存一下索引文件
        3.数据重复且分布平均的表字段，因此应该只为最经常查询和最经常排序的数据列建立索引。
注意，如果某个数据列包含许多重复的内容，为它建立索引就没有太大的实际效果。

        性能分析:

            explain关键字的使用:    （explain sql语句）

        表的读取顺序
        数据读取操作的操作类型
        哪些素引可以使用
        哪些索引被实际使用
        表之间的引用
        每张表有多少行被优化器查询......

       id:   select查询的序列号，包含一组数字，表示查询中执行select子句或操作表的顺序
id相同，执行顺比由上至下.
    三种情况 

        id相同:执行顺序由上到下,

        id相同不同:先执行id值较大的，再按序执行

        id不同： 如果是子查询，id的序号会通增，id值越大优先级越高，越先被执行
select_type:

        1. SIMPLE 简单的 select 查询,查询中不包含子查询或者UNION.
        2. PRIMARY 查询中若包含任何复杂的子部分，最外层查询则被标记为.
        3. SUBQUERY 在SELECT或WHERE列表中包含了子查询.

        4. DERIVED 在FROM列表中包会的子专询被标记为DERIVED(衍生)
 MySQL会迷归执行这些子查询，把结果放在临时表里。
        5. UNION 若第二个SELECT出现在UNION之后，则被标记为UNION;
若UNION包含在FROM子句的子查询中,外层SELECT将被标记为：DERIVED.
        6. UNION RESULT 从UNION表获取结果的SELECT.

table:显示这一行是关于那个表的.

type:从最好到最差依次是：
system>const>eq_ref>ref>range>index>ALL

          system 表只有一行记录(等于系统表)，这是const类型的特列，平时不会出现，这个也可以忽略不计表示通过索引一次就找到了，const用于比较primary key或者unique索引。因为只匹配一行数据，所以很快。
        const 如将主键置于where列表中，MySQL就能将该查询转换为一个常量
        eq_ref 唯一性索引扫描，对于每个索引键，表中只有一条记录与之匹配。常见于主键或唯一索引扫描
        ref 非唯一件索引扫描，返回匹配某个单独值的所有行.
        range只检索给定范围的行，使用一个索引来选择行。key列显示使用了哪个索引range <>、in等的查询这种范围扫描索引扫描比全表扫描要好，因为它只需要开始于索引的某一点，而结束语另一点，不用扫描全部索引。
        index：Full Index Scan，index与ALL区别为index类型只遍历索引树。这通常比ALL快，因为索引文件通常比数据文件小。
(也就是说虽然all和Index都是读全表，但index是从索引中读取的，而all是从硬盘中读的)
        all:Full Table Scan，将遍历全表以找到匹配的行
        备注： 一般来说，得保证查询至少达到range级别，最好能达到ref。
        possible_keys：显示可能应州在这张表中的索引，一个或多个,查询涉及到的字段上若存在索引，则该索引将被列出，但不一定被查询实际使用
        key :实际使用的索引。如果为NULL，则没有使用索引查询中若使用了覆盖索引，则该索引和查询的select字段重叠
        key_len：表示索引中使用的字节数，可灿过该列计算查询中使用的索引的长度。在不损失精确性的情况下，长度越短越好，key_len显示的值为索引字段的最大可能长度，并非实际使用长度，即key_len是根据表定义计算而得，不是通过表内检索出的

        ref 显示索引的哪一列被使用了 ，如果可能的话，是一个常数。哪些列或常量被用于查找索引列上的值
        rows 根据表统计信息及索引选用情况，大致估算出找到所需的记录所需要读取的行数

        Extra:额外信息:

        1. Using filesort: MySQL中无法利用索引完成的排序操作称为“文件排序”,说明mysql会对数据使用一个外部的索引排序，而不是按照表内的索引顺序进行读取。
        2.Using temporary:使了用临时表保存中间结果，MySQL在对查询结果排序时使用临时表。常 见于排序order by和分组查询 group by.
        3. Using index:如果没有同时出现using where， 表明索引用来读取数据而非执行查找动作覆盖索引(Covering Index)表示相应的select操作中使用了覆盖索引(Covering Index)，避免访问了表的数据行，效率不错！如果同时出using where.表明索引过用来执行索引键值的查找；
        4. Using where:表明使用了where过滤.
        5. Using join buffer :使用了连接缓存.
        6. impossible where:子句的值总是false，不能用来获取任何元组.
        7. select tables optimized away 在没有GROUPBY子句的情况下，基于索引优化MIN/MAX提在或者对于MyISAM存储引擎优化COUNT(*）操作，不必等到执行阶段再进行计算，查询执行计划生成的阶段即完成优化。
        8. distinct 优化distinct操作，在找到第一匹配的元组后即停止找同样值的动作.

索引的使用：

          【优化总结口诀】
全值匹配我最爱，最左前缀要遵守；
带头大哥不能死，中间兄弟不能断；
索引列上少计算，范围之后全失效；
LIKE百分写最右，覆盖索引不写星；
不等空值还有or，索引失效要少用；
VAR引号不可丢，SQL高级也不难！

1.全值匹配我最爱
2.最佳左前缀法则 如果索引了多列，要遵守最左前缀法则。指的是查询从索引的最左前列开始并且不跳过索引中的列。
3.不在索引列上做任何操作(计算、函数、(自动or手动)类型转换)，会导致索引失效而转向全表扫描
4.存储引擎不能使用索引中范围条件右边的列
5.尽量使用覆盖索引(只访问索引的查询(索引列和查询列一致))，减少select*
6.mysql在使用不等于(！=或者<>)的时候无法使用索引会导致全表扫描
7. is null ，is not null 也无法使用索引
8.like以通配符开头("%abc..')mysql索引失效会变成全表扫描的操作 问题：解决like“%字符串%时索引不被使用的方法？使用覆盖索引解决(建的索引和查询的字段是基本一样的).

 9.字符串不加单引号索引失效。
10.少用or，用它来连接时会索引失效。 

 

查询优化:

 1.小表驱动大表:

2. order by 关键字优化:

        order by后尽量是由index排序，否则会出现filesort

     

3. group by关键字优化:

         group by实质是先排序后进行分组，遵照索引建的最住左前缀。 当无法使用索引列，增大max_length_for_sort_data参数的设置,增大sort_buffer_size参数的设置,where高于having，能写在where限定的条件就不要去having限定了。

mysql锁机制:

          表锁：

          语句:lock table 表名字read(write),表名字2 read(wrire)

         1.读锁(共享锁):如果给当前会话的一个表加入read锁,当会话和其他会话都可以查看自己(当前锁定的这个表)，当前会话不能修改自己,当前会话也不能查看其他表,如果其他会话要修改自己就会进入阻塞状态,如果修改其他未修改的表是可以的.

       2.写锁(排它锁)::如果给当前会话的一个表加入write锁,当前回话可以读自己，也可以修改自己(也就是查询，更新，插入操都可以任意在当前被锁的表执行)，但是不能读其他表，其他会话可以读其他表，但是读自己时就会进入阻塞。

        MyISAM在执行查询语句(SELECT)前，会自动给涉及的所有表加读锁，在执行增删改操作前，会自动给涉及的表加写锁。MySQL的表级锁有两种模式：
        表共享读锁(Table Read Lock)
        表独占写锁(Table Write Lock)

锁类型	可否兼容	读锁	写锁
读锁	是	是	否
写锁	是	否	否

结合上表，所以对MylSAM表进行操作，会有以下情况：
1、对MylSAM表的读操作(加读锁)，不会阻塞其他进程对同一表的读请求，但会阻塞对同一表的写请求。只有当读锁释放后，
才会执行其它进程的写操作。
2、对MylSAM表的写操作(加写锁)，会阻塞其他进程对同一表的读和写操作，只有当写锁释放后，才会执行其它进程的读写操

                     读锁会阻塞写操作,但是不会阻塞读,写锁会把读和写都阻塞。

---

 行锁：

        偏向InnoDB存储引擎，开销大，加锁慢；会出现死锁；锁定粒度最小，发生锁冲突的概率最低，并发度也最高。
        InnoDB与MyISAM的最大不同有两点：一是支持事务(TRANSACTION)；二是采用了行级锁 特点事务(Transaction)及其ACID属性。

       锁类型升级:如果当前会话使用了行锁，但是由于当前会话的不当操作导致索引失效，行锁就会升级为表锁.

间隙锁:
        当我们用范围条件而不是相等条件检索数据，并请求共享或排他锁时，InnoDB会给符合条件的已有数据记录的索引项加锁；对于键值在条件范围内但并不存在的记录，叫做“间隙(GAP)”，
InnoDB也会对这个“间隙”加锁，这种锁机制就是所谓的间隙锁(Next-Key锁)。
【危害】
        因为Query执行过程中通过范围查找的话，他会锁定整个范围内所有的索引键值，即使这个键值并不存在。
间隙锁有一个比较致命的弱点，就是当锁定一个范围键值之后，即使某些不存在的键值也会被无辜的锁定，而造成在锁定的时候无法插入锁定键值范围内的任何数据。在某些场景下这可能会对性能造成很大的危害

---

   如何锁定一行：