MYSQL 那点破事!索引、SQL调优、事务、B+树、分表

  • 非聚簇索引:不是聚簇索引,就是非聚簇索引。叶子节点只是存索引列和主键id。如果sql还要返回除了索引列的其他字段信息,需要回表,第一次索引一般是顺序IO,回表的操作属于随机IO。回表的次数越多,性能越差。此时我们推荐覆盖索引

什么是覆盖索引和回表?

答案:

1、覆盖索引,指的是在一次查询中,一个索引包含所有需要查询的字段的值,可能是返回值或where条件

select buyer_id from order where money>100

假如我们创建了一个(money,buyer_id)的联合索引,索引的叶子节点包含了buyer_id的信息,则不会再回表查询。

2、回表,指查询时一些字段值拿不到,需要到主键索引B+树再查一次。

Mysql的最左前缀原则?

答案:即最左优先,在检索数据时从联合索引的最左边开始匹配,直到遇到范围查询(如:> 、< 、between、like等)

例子:where a = 1 and b = 2 and c > 3 and d = 4 ,如果建立(a,b,c,d)组合索引,d是用不到索引的;如果建立(a,b,d,c)的索引则都可以用到,a,b,d的顺序可以任意调整。

线上SQL的调优经验?

答案:

  • 1、slow_query_log 日志中收集到的慢 SQL ,结合 explain 分析是否命中索引。

  • 2、减少索引扫描行数,有针对性的优化慢 SQL。

  • 3、建立联合索引,由于联合索引的每个叶子节点包含检索字段的信息,按最左前缀原则匹配后,再按其它条件过滤,减少回表的数据量。

  • 4、还可以使用虚拟列和联合索引来提升复杂查询的执行效率。

官方为什么建议采用自增id 作为主键?

答案:自增id是连续的,插入过程也是顺序的,总是插入在最后,减少了页分裂,有效减少数据的移动。所以尽量不要使用字符串(如:UUID)作为主键。

索引为什么采用B+树,而不用B-树,红黑树?

答案:提升查询速度,首先要减少磁盘IO次数,也就是要降低树的高度。

  • 平衡二叉树、红黑树,都属于二叉树。时间复杂度为O(n),当表的数据量上千万时,树的深度很深,mysql读取时消耗大量 IO。另外,InnoDB引擎采用页为单位读取,每个节点一页,但是二叉树每个节点储存一个关键词,导致空间浪费。

  • B-树,非叶子节点存储数据,占用较多空间,导致每个节点的指针少很多,无形增加了树的深度。

  • B+树数据都存储在叶子节点,非叶子节点只存储健值+指针,索引树更加扁平,三层深度可以支持千万级表存储。同时叶子节点之间通过链表关联,范围查找更快。

  • 更多内容,参考 mysql 一棵 B+ 树能存多少条数据?

事务的特性有哪些?

答案:ACID。

  • 原子性。一个事务中的操作要么全部成功,要么全部失败。

  • 持久性。永久保存在数据库中。

  • 一致性。总是从一个一致性的状态转换到另一个一致性的状态

  • 隔离性。一个事务的修改在提交前,其他事务是感知不到的

如何实现分布式事务?

答案:

  • 1、流水任务,最终一致性,前提是接口要支持幂等性

  • 2、事务消息

  • 3、二阶段提交

  • 4、三阶段提交

  • 5、TCC

  • 6、Seata 框架

  • 7、更多内容,参考 如何解决分布式事务

日常工作中,MySQL 如何做优化?

答案:

  • 1、分页优化。比如电梯直达,limit 100000,10 先查找起始的主键id,再通过id>#{value}往后取10条

  • 2、尽量使用覆盖索引,索引的叶节点中已经包含要查询的字段,减少回表查询

  • 3、SQL优化(索引优化、小表驱动大表、虚拟列、适当增加冗余字段减少连表查询、联合索引、排序优化、慢日志 Explain 分析执行计划)。

  • 4、设计优化(避免使用NULL、用简单数据类型如int、减少 text 类型、分库分表)。

  • 5、硬件优化(使用SSD 减少 I/O 时间、足够大的网络带宽、尽量大的内存)

mysql 主从同步具体过程?

答案:

  • master主库,有数据更新,将此次更新的事件类型写入到主库的binlog文件中

  • 主库会创建log dump 线程通知slave有数据更新

  • slave,向master节点的 log dump线程请求一份指定binlog文件位置的副本,并将请求回来的binlog存到本地的Relay log 中继日志中

  • slave 再开启一个SQL 线程读取Relay log事件,并在本地执行redo操作。将发生在主库的事件在本地重新执行一遍,从而保证主从数据同步

MYSQL 那点破事!索引、SQL调优、事务、B+树、分表 ....

什么是主从延迟?

答案:指一个写入SQL操作在主库执行完后,将数据完整同步到从库会有一个时间差,称之为主从延迟。计算公式:

  • 主库生成一条写入SQL的binlog,里面会有一个时间字段,记录写入的时间戳 t1

  • binlog 同步到从库后,一旦开始执行,取当前时间 t2

  • t2-t1,就是延迟时间

注意:不同服务器要保持时钟一致

主从延迟排查方法?

答案:通过 show slave status 命令输出的Seconds_Behind_Master参数的值来判断

MYSQL 那点破事!索引、SQL调优、事务、B+树、分表 ....

  • 为零:表示主从复制良好

  • 正值:表示主从已经出现延时,数字越大,表示从库延迟越严重

主从延迟要怎么解决?

答案:

  • 看业务的接受程度。如果不能接受延迟,那么建议强制走主库查询

  • 可以考虑引入缓存,更新主库后同步写入缓存,保证缓存的及时性

  • 提升从库的机器配置,提高从库binlog的同步效率

  • 缩短主、从库的网络距离,减少binlog的网络传输时间

  • 一主多从,每个从库都启一个线程从主库同步 binlog,导致主库压力过大,可以采用canal 增量订阅&消费组件,缓解主库压力。

  • 因为数据库必须要等到事务完成之后才会写入binlog,所以减少大事务的执行,尽量控制数量,分批执行。

  • 5.6版本之前,从库是单线程复制,当遇到执行慢的sql时,就会阻塞后面的同步。5.7 版本后支持多线程复制,可以在从服务上设置slave_parallel_workers为一个大于0的数,然后把slave_parallel_type参数设置为LOGICAL_CLOCK

  • 为从库增加浮动IP,并通过脚本检测从库的延迟,延迟大于指定阈值时,将浮动IP切换至Master库,追平后再切换回从库。

如果数据量太大怎么办?

答案:mysql表的数据量一般控制在千万级别,如果再大的话,就要考虑分库分表。除了分表外,列举了面对海量数据业务的一些常见优化手段

  • 缓存加速

  • 读写分离

  • 垂直拆分

  • 分库分表

  • 冷热数据分离

  • ES助力复杂搜索

  • NoSQL

  • NewSQL

  • 更多内容,参考 海量数据业务有哪些优化手段?

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

如果你觉得这些内容对你有帮助,可以扫码获取!!(备注Java获取)

img

总结

无论是哪家公司,都很重视高并发高可用的技术,重视基础,重视JVM。面试是一个双向选择的过程,不要抱着畏惧的心态去面试,不利于自己的发挥。同时看中的应该不止薪资,还要看你是不是真的喜欢这家公司,是不是能真的得到锻炼。其实我写了这么多,只是我自己的总结,并不一定适用于所有人,相信经过一些面试,大家都会有这些感触。

最后我整理了一些面试真题资料,技术知识点剖析教程,还有和广大同仁一起交流学习共同进步,还有一些职业经验的分享。

面试了阿里,滴滴,网易,蚂蚁,最终有幸去了网易【面试题分享】

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!
真的喜欢这家公司,是不是能真的得到锻炼。其实我写了这么多,只是我自己的总结,并不一定适用于所有人,相信经过一些面试,大家都会有这些感触。

最后我整理了一些面试真题资料,技术知识点剖析教程,还有和广大同仁一起交流学习共同进步,还有一些职业经验的分享。

[外链图片转存中…(img-ME6P7xHT-1713503375968)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!

  • 15
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值