一.插入数据
1.insert 优化
- 批量插入:单条数据的插入每一次都需要与数据库建立连接进行网络传输,建议使用一条SQL语句批量插入,但一次插入的数据过多(超过1000条),建议再次分多次批量插入。
- 手动提交事务:MySQL事务默认自动提交,每一次执行insert插入都会开启事务再自动提交,这样涉及到频繁的事务开启与提交。手动开启事务,执行完多条insert后提交,可提高insert效率。
- 主键顺序插入:主键顺序插入性能优于乱序插入。
2.大批量插入数据
一次性插入大量数据(几百万条),使用insert语句插入性能较低,此时可以使用MySQL数据库提供的load指令进行插入。操作如下:
二.主键优化
1.数据组织方式
在InnoDB存储引擎中,表数据都是根据主键顺序组织存放的,这种存储方式的表称为索引组织表(index organized table IOT)。
2.页分裂
页可以为空,也可以填充一般,课可以填充100%。每个页包含了2-N行数据(如果一行数据过大,会行溢出,)根据主键排列。
主键顺序插入示意图:
主键乱序插入示意图:
乱序插入示意图中就发生了页分裂现象
3.页合并
当删除一行记录时,实际上记录并没有被物理删除,只是记录被标记(flaged)为删除并且它的空间变得允许被其他记录声明使用。
当页中删除的记录达到MERGE_THRESHOLD(默认为页的50%),InnoDB会开始寻找最靠近的页(前或后)看看是否可以将两个页合并以优化空间。
页合并示意图:
4.主键设计原则
- 满足业务需求的情况下,尽量降低主键长度(二级索引叶子节点下存储的即是主键)。
- 插入数据时,尽量选择顺序插入,选择使用auto_increment自增主键。
- 尽量不要使用UUID做主键或者是其他自然主键,如身份证(无序)。
- 业务操作时,避免对主键的修改。
三.order by 优化
MySQL中的排序有两种:
- Using filesort:通过表的索引或全表扫描,读取满足条件的数据行,然后再排序缓冲区sort buffer 中完成排序操作,所有不时通过索引直接返回排序结果的排序都叫 FileSort排序。
- Using index:通过有序索引顺序扫描直接返回有序数据,这种情况即为using index,不需要额外排序,操作效率高。
使用order by 排序时应注意:
四.group by 优化
- 在分组操作时,可以通过索引来提高效率。
- 分组操作时,索引的使用也是满足最左前缀法则的。
五.limit 优化
当执行语句limit 2000000,10,此时需要MySQL排序前2000010记录,仅仅返回2000000-2000010的记录,其他记录丢弃,查询排序的代价非常大。
优化思路:一般分页查询时,通过创建覆盖索引能够比较好地提高性能,可以通过覆盖索引加子查询形式进行优化。
六.count 优化
MyISAM引擎吧一个表的总行数存在了磁盘上,因此执行count(*)的时候会直接返回这个数,效率很高;
InnoDB引擎在执行count(*)时,需要把数据一行一行地从引擎里面读出来,然后累积计数。
优化思路:自行计数,添加一个字段,在增添数据时该字段加一,删除数据时该字段减一。
count的几种用法
count()是一个聚合函数,对于返回的结果集,一行行地判断,如果count函数的参数不是NULL,累计值就加1,否则不加,最后返回累计值。
用法:count(*),count(主键),count(字段),count(1),
count(主键):InnoDB引擎会遍历整张表,把每一行的主键ID值都取出来,返回给服务层。服务层拿到主键后,直接按行进行累加(主键不可能为NULL)。
count(字段):
没有 not null 约束:InnoDB引擎会遍历整张表把每一行的字段值都取出来,返回给服务层,服务层判断是否为null,不为null,计数累加。
有 not null 约束:InnoDB引擎会遍历整张表把每一行的字段值都取出来,返回给服务层,直接按行进行累加。
count(1):InnoDB引擎遍历整张表,但不取值。服务层对于返回的每一行,放一个数字“1”进去(如果是其他数字就放对应数字,count(2)也可),直接按行进行累加。
count(*):InnoDB引擎并不会把全部字段取出来,而是专门做了优化,不取值,服务层直接按行进行累加。
七.update 优化
InnoDB的行锁是针对索引加的锁,不是针对记录加的锁,并且该索引不能失效,否则会从行锁升级为表锁。故使用update,应根据索引字段进行更新。
以上内容均学自b站黑马MySQL视频