面试官灵魂拷问:为什么代码规范要求 SQL 语句不要过多的 join?

点击上方“Java基基”,选择“设为星标”

做积极的人,而不是积极废人!

每天 14:00 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:juejin.im/post/

5e0443ae6fb9a0162277a2c3


送分题

面试官 :有操作过Linux吗?

:有的呀

面试官 :我想查看内存的使用情况该用什么命令

free 或者 top

面试官 :那你说一下用free命令都可以看到啥信息

:那,如下图所示 可以看到内存以及缓存的使用情况

  • total 总内存

  • used 已用内存

  • free 空闲内存

  • buff/cache 已使用的缓存

  • avaiable 可用内存

73f190c701a0cabf95d8f62b354a23f1.jpeg

面试官 :那你知道怎么清理已使用的缓存吗(buff/cache)

:em... 不知道

面试官sync; echo 3 > /proc/sys/vm/drop_caches就可以清理buff/cache了,你说说我在线上执行这条命令做好不好?

cb58643e112de7d3cf49cdb5e908b368.jpeg

:(送分题,内心大喜)好处大大的有,清理出缓存我们就有更多可用的内存空间, 就跟pc上面xx卫士的小火箭一样,点一下,就释放出好多的内存

面试官 :em...., 回去等通知吧

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能。

项目地址:https://github.com/YunaiV/ruoyi-vue-pro

再谈SQL Join

面试官 :换个话题,谈谈你对join的理解

:好的(再答错就彻底完了,把握住机会)

回顾

SQL中的join可以根据某些条件把指定的表给结合起来并将数据返回给客户端

join的方式有

  • inner join  内连接

bd14f180b00b205dd738db02ad195150.jpeg
  • left join 左连接

edcefe685de341130119981373927827.jpeg
  • right join 右连接

ed371d0b635ee76c213f096692b0cb57.jpeg
  • full join 全连接

06541cd324e3f433312be241918c2667.jpeg

以上图片源自这里

面试官 :在项目开发中如果需要使用join语句,如何优化提升性能?

:分为两种情况,数据规模小的,数据规模大的。

面试官 :  然后?

:对于

  • 数据规模较小 全部干进内存就完事了嗷

  • 数据规模较大

可以通过增加索引来优化join语句的执行速度 可以通过冗余信息来减少join的次数 尽量减少表连接的次数,一个SQL语句表连接的次数不要超过5次

面试官 :可以总结为join语句是相对比较耗费性能,对吗?

:是的

面试官 : 为什么?

缓冲区

: 在执行join语句的时候必然要有一个比较的过程

面试官 : 是的

:逐条比较两个表的语句是比较慢的,因此我们可以把两个表中数据依次读进一个内存块中, 以MySQL的InnoDB引擎为例,使用以下语句我们必然可以查到相关的内存区域show variables like '%buffer%'

7d96f3a83c018b107d6b1245613ae0cb.jpeg

如下图所示join_buffer_size的大小将会影响我们join语句的执行性能

面试官 : 除此之外呢?

一个大前提

:任何项目终究要上线,不可避免的要产生数据,数据的规模又不可能太小

面试官 : 是这样的

:大部分数据库中的数据最终要保存到硬盘上,并且以文件的形式进行存储。

以MySQL的InnoDB引擎为例

  • InnoDB以(page)为基本的IO单位,每个页的大小为16KB

  • InnoDB会为每个表创建用于存储数据的.ibd文件

775316c03cafadaa44d70a53c796c7c6.jpeg

验证

7afd1a9534f778dbfad7afe2eaaced66.jpeg

:这意味着我们有多少表要连接就需要读多少个文件,虽然可以利用索引,但还是免不了频繁的移动硬盘的磁头

面试官 :也就是说频繁的移动磁头会影响性能对吧

:是的,现在的开源框架不都喜欢说自己通过顺序读写大大的提升了性能吗,比如hbasekafka

面试官 :说的没错,那你认为Linux有对此做出优化吗?提示,你可以再执行一次free命令看一下

:奇怪缓存怎么占用了1.2G多

26d5f19ef62d60df68b1c6bb9c64bd2c.jpeg 1fc43136515c2915fe96e8df8682f8e8.jpeg

图片来源这里

面试官 : 你有没有想过

  • buff/cache 里面存的是什么,?

  • 为什么buff/cache 占了那么多内存,可用内存即availlable还有1.1G

  • 为什么你可以通过两条命令来清理buff/cache占用的内存,而想要释放used只能通过结束进程来实现?

品,你细品

思考了几分钟后

8e9bed0ac969e49c9374d36a22282c2c.jpeg

:这么随便就释放了buff/cache所占用的内存,说明它就不重要, 清除它不会对系统的运行造成影响

面试官 : 不完全对

:难道是?想起来《CSAPP》(深入理解计算机系统)里面说过一句话

存储器层次结构的本质是,每一层存储设备都是较低一层设备的缓存

68a6d1f1f81d6c1baa4a436c63e1db1f.jpeg

翻译成人话,就是说Linux会把内存当作是硬盘的高速缓存

相关资料 tldp.org/LDP/sag/htm…

面试官 :现在知道那道送分题应该怎么回答了吧

:我....

683ef9fb28d2312d90ef0eaca0e9a163.jpeg

Join算法

面试官 :再给你个机会,如果让你来实现Join算法你会怎么做?

:无索引的话,嵌套循环就完事了嗷。有索引的话,则可以利用索引来提升性能.

面试官 :说回join_buffer 你认为join_buffer里面存储的是什么?

:在扫描过程中,数据库会选择一个表把他要返回以及需要进行和其他表进行比较的数据 放进join_buffer

面试官 :有索引的情况下是怎么处理的?

:这个就比较简单了,直接读取两个表的索引树进行比较就完事了嗷,我这边介绍一下无索引的处理方式

Nested Loop Join
0c379639a8a3578d94fd3208971cccf7.jpeg

嵌套循环,每次只读取表中的一行数据,也就是说如果outerTable有10万行数据, innerTable有100行数据,需要读取10000000次(假设这两个表的文件没有被操作系统给缓存到内存, 我们称之为冷数据表)

当然现在没啥数据库引擎使用这种算法(太慢了)

Block nested loop
febd89255035441cc7ffbdcbaa4d58ef.jpeg

Block 块,也就是说每次都会取一块数据到内存以减少I/O的开销

当没有索引可以使用的时候,MySQL InnoDB 就会使用这种算法

考虑以下两个表 t_at_b

12ea4eb4aa471af28bb67b7858e317fb.jpeg

当无法使用索引执行join操作的时候,InnoDB会自动使用Block nested loop 算法

9709de1805a3aaf8a648f6f21bf3945c.jpeg

基于微服务的思想,构建在 B2C 电商场景下的项目实战。核心技术栈,是 Spring Boot + Dubbo 。未来,会重构成 Spring Cloud Alibaba 。

项目地址:https://github.com/YunaiV/onemall

总结

上学时,数据库老师最喜欢考数据库范式,直到上班才学会一切以性能为准,能冗余就冗余,实在冗余不了的就join如果join真的影响到性能。试着调大你的join_buffer_size, 或者换固态硬盘。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢

9e8964eb96cffa3afd53495f973be8df.png

已在知识星球更新源码解析如下:

5845ddc2b10d1d11feb889bca492d79d.jpeg

a0fdce6fc24fe1a0ecd2817e9a5040c5.jpeg

d02df20de0d0731b83d9d6c05591a534.jpeg

1f9f3ef617479972da399a396b3c5dee.jpeg

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 6W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值