Server层
-- db1. t有200 GB
mysql - h$host - P$port - u$user - p$pwd - e "select * from db1.t" > $target_file
查询数据
InnoDB的数据是保存在主键索引上,全表扫描实际上是直接扫描表t的主键索引
获取一行,写到net_buffer中,默认为16K,控制参数为net_buffer_length
重复获取行,直到写满net_buffer,然后调用网络接口发出去
如果发送成功,就清空net_buffer,然后继续取下一行并写入net_buffer
如果发送函数返回EAGAIN或者WSAEWOULDBLOCK,表示本地网络栈socket send buffer写满。此时,进入等待,直到网络栈重新可写,再继续发送
一个查询在发送数据的过程中,占用MySQL内部的内存最大为net_buffer_length,因此不会达到200G
socket send buffer也不可能达到200G,如果socket send buffer被写满,就会暂停读取数据
-- 16384 Bytes = 16 KB
mysql> SHOW VARIABLES LIKE '%net_buffer_length%' ;
+ -- -- -- -- -- -- -- -- -- - + -- -- -- - +
| Variable_name | Value |
+ -- -- -- -- -- -- -- -- -- - + -- -- -- - +
| net_buffer_length | 16384 |
+ -- -- -- -- -- -- -- -- -- - + -- -- -- - +
Sending to client
MySQL是边读边发的,如果客户端接收慢,会导致MySQL服务端由于结果发不出去,事务的执行时间变长
下图为MySQL客户端不读取socket receive buffer中的内容的场景
State为Sending to client,表示服务端的网络栈写满了
mysql --quick,会使用mysql_use_result方法,该方法会读取一行处理一行
假设每读出一行数据后要处理的逻辑很慢,就会导致客户端要过很久才会去取下一行数据
这时也会出现State为Sending to client的情况
对于正常的线上业务,如果单个查询返回的结果不多,推荐使用mysql_store_result接口
适当地调大net_buffer_length可能是个更优的解决方案
Sending data
State切换
MySQL的查询语句在进入执行阶段后,首先把State设置为Sending data
然后,发送执行结果的列相关的信息(meta data)给客户端
再继续执行语句的流程,执行完成后,把State设置为空字符串
因此State为Sending data不等同于正在发送数据
样例
CREATE TABLE `t` (
`id` int ( 11 ) NOT NULL,
`c` int ( 11 ) NOT NULL,
PRIMARY KEY ( `id` )
) ENGINE= InnoDB DEFAULT CHARSET= utf8;
INSERT INTO t VALUES ( 1 , 1 ) ;