MySQL数据查询太多会OOM吗?所以大表全表扫描,看起来应该没问题。这是为啥呢?

全表扫描对MySQL服务器内存影响较小,因为MySQL采用边读边发的策略,服务端内存最大占用仅为net_buffer_length。同时,InnoDB通过LRU算法优化,即使扫描大表也不会导致内存暴涨。但在客户端接收缓慢时,可能导致事务执行时间延长。建议关注并发的"Sending to client"状态线程,优化查询和内存设置。
摘要由CSDN通过智能技术生成

我的主机内存只有100G,现在要全表扫描一个200G大表,会不会把DB主机的内存用光?

逻辑备份时,可不就是做整库扫描吗?若这样就会把内存吃光,逻辑备份不是早就挂了?

所以大表全表扫描,看起来应该没问题。这是为啥呢?

全表扫描对server层的影响

假设,我们现在要对一个200G的InnoDB表db1. t,执行一个全表扫描。当然,你要把扫描结果保存在客户端,会使用类似这样的命令:

mysql -h$host -P$port -u$user -p$pwd -e 
  "select * from db1.t" > $target_file

复制代码

InnoDB数据保存在主键索引上,所以全表扫描实际上是直接扫描表t的主键索引。这条查询语句由于没有其他判断条件,所以查到的每一行都可以直接放到结果集,然后返回给客户端。

那么,这个“结果集”存在哪里呢?

服务端无需保存一个完整结果集。取数据和发数据的流程是这样的:

  • 获取一行,写到net_buffer。这块内存的大小是由参数net_buffer_length定义,默认16k

  • 重复获取行,直到net_buffer写满,调用网络接口发出去

  • 若发送成功,就清空net_buffer,然后继续取下一行,并写入net_buffer

  • 若发送函数返回EAGAIN或WSAEWOULDBLOCK,就表示本地网络栈(socket send buffer)写满了,进入等待。直到网络栈重新可写,再继续发送

查询结果发送流程:

可见:

  • 一个查询在发送过程中,占用的MySQL内部的内存最大就是net_buffer_length这么大,不会达到200G

  • socket send buffer 也不可能达到200G(默认定义/proc/sys/net/core/wmem_default),若socket send buffer被写满,就会暂停读数据的流程

所以MyS

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值