mysql order by的执行原理，以及优化思路，怎么优化order by

mysql order by的执行原理，以及优化思路，怎么优化order by

select id, name,age,city,address from table_a t where t.city = '深圳' order by age;

Mysql Order by 排序：

1. 有这样几种方式：

1.1 全字段排序

全字段排序概念：
将最终结果集中所有的字段都放进 sort buffer中，然后在sort buffer中针对排序字段进行快速排序。 

数据太大会使用到临时文件进行辅助排序，使用临时文件排序的时候，用的是归并排序算法 。
sort_buffer_size 进行设置 sort_buffer 的大小。全字段排序只需要一次回表。

1.2 Rowid排序

Rowid排序概念：
只将与排序相关的字段和 rowId 放入 sort buffer，其余结果集需要用到的数据在排序完成后，通过 rowId 回表取得。

rowid 排序就是，只把查询SQL需要用于排序的字段和主键id，到sort_buffer中。Rowid排序需要回表两次。

上面这两种排序如果待排序的数据量大小没有超过sort_buffer_size大小，那么还是在 sort_buffer中排序，速度快。不涉及到外部排序。
 

2. 上面两种排序方式，那mysql order by语句是按照哪种方式进行排序的呢？
max_length_for_sort_data, 它表示MySQL用于排序行数据的长度的一个参数，如果单行的长度超过这个值，MySQL 就认为单行太大，就使用rowid 排序，否则使用全字段排序。

3. 全字段排序与rowid排序对比
全字段排序一次回表，性能高。sort_buffer内存不够的话，就需要用到磁盘临时文件，造成磁盘访问。
rowid排序需要两次回表，可排序的数据多。sort_buffer可以放更多数据，但是需要再回到原表去取数据，比全字段排序多一次回表。
一般情况下，对于InnoDB存储引擎，会优先使用全字段排序。可以发现 max_length_for_sort_data参数设置为1024，这个数比较大的。一般情况下，排序字段不会超过这个值，也就是都会走全字段排序。

但是有的时候，数据量太大，即使只将要排序的字段+主键id放入到 sort_buffer 中仍然存不下，这个时候就需要使用到外部文件了

4. explain 说明， 执行explain语句的时候，可以发现下面的信息：
explain语句的时候，发现 Using filesort 用到了临时文件进行排序
还能看到 Using temporary 用到了临时表，临时表存储引擎为 memory 。

如果当前 MySQL 使用的是内存临时表的话，将会直接使用 rowId 排序，这时的回表(回临时表取数据)只是在内存表中读数据，操作不涉及硬盘IO 。

MySQL 提供了 tmp_table_size 参数限制了内存临时表的大小，默认值是 16M，如果临时表大小超过了tmp_table_size，那么内存临时表就会转成磁盘临时表。这时的回表意味着磁盘随机读，所以会搭配全字段排序方式。

如果数据量大于tmp_table_size, 就不能用内存临时表了，需要用磁盘临时表，这时的回表意味着磁盘随机读，所以会搭配全字段排序方式。
 

5.  order by的一些优化思路
我们如何优化order by语句呢？

A. 联合索引： 因为数据是无序的，所以就需要排序。如果数据本身是有序的，那就不用排了。而索引数据本身是有序的，我们通过建立联合索引，优化order by 语句。联合索引 - 就是通过要排序的字段和where条件的字段一起创建联合索引。

B.  覆盖索引: 上面的联合索引虽然不需要排序，但是需要回表查询字段， 就可以考虑覆盖索引 。 select查询的字段和order by排序字段以及where条件字段一起都建一个索引，覆盖索引，就是索引里包含了需要的所有数据（查询数据、排序数据）这样就不需要任何回表了

C. 调整参数优化
C1. sort_buffer 值调大一点。 值太小，数据量大的话，会借助磁盘临时文件排序.  默认是mysql 5.7.5  是256k， mysql 5.7.6是 8M

C2. max_length_for_sort_data值调大一点。值太小的话，order by会走rowid排序，会回表，降低查询性能。默认是1024大小

C3. tmp_table_size 值调大一点。 值太小就不能使用内存临时表，需要用到磁盘临时表，磁盘随机读影响性能。

在排序字段无索引的情况下，mysql使用优先队列进行排序（即堆排序）对 order by + limit n 排序语句进行优化。
过程：
    在所有待排序的数据，取数量为 LIMIT 的数据，构建一个堆。
    不断的取下一行数据，更新堆节点。
    当所有行的扫描完，得到最终的排序结果