mysql lsof打开数过多_MySQL为什么lsof会看到这么多临时文件

最新推荐文章于 2023-09-22 15:45:06 发布

艾闻

最新推荐文章于 2023-09-22 15:45:06 发布

阅读量233

点赞数

文章标签： mysql lsof打开数过多

本文链接：https://blog.csdn.net/weixin_35810956/article/details/113284627

版权

原标题：MySQL为什么lsof会看到这么多临时文件

版本：5.7.29

一、问题提出

一般情况下我们会使用lsof命令来查看MySQL当前使用的临时文件的使用，这是因为这些临时文件使用ls命令并不能显示，在5.7中其建立方式是使用Liunx api mkstemp进行的建立，这种文件是进程专用的，返回文件描述符后会使用api unlink进行删除。

源码主要就是这一段，其包含在create_temp_file函数中。

org_file=mkstemp(to);

if(mode & O_TEMPORARY)

(void) my_delete(to, MYF(MY_WME));

在5.7中如下常见的一些功能会用到这种临时文件，比如：

执行计划 filesort 文件名字： MY开头

lsof|grep delete

如:/tmp/MYdRH1GW (deleted)

大事务binary log缓存文件名字： ML开头

lsof|grep delete

如:/tmp/MLq9INFu (deleted)

online DDL 涉及排序比如add key，一般是 ib开头

alter table testsort add key(id);

lsof|grep delete

如:

/tmp/ibCxlYQg (deleted)

/tmp/ib51nvZ1 (deleted)

设置 innodb_tmpdir可以将这类文件放到指定的目录

但是当一个MySQLD进程刚刚启动的时候我们去查看这类文件的时候，会发现很多这类文件，如下：

[root@mgr2 ~] # lsof|grep delete|grep mysql|wc -l

215

[root@mgr2 ~] #

这些文件大小基本都是0，且都以ib开头，曾经有朋友问过我这个问题，这里详细做一下解释。

二、MySQLD初始化后的临时文件种类

实际上在5.7中这类文件均由函数create_temp_file建立，那么我们就可以在MySQLD启动的时候将断点放在上面进行分析了。

下面这样一些文件，均使用的是ib开头的临时文件。

srv_monitor_file (srv0start.cc:2022)：这是我们通常show engine innodb status命令输出的时候使用到的文件，主要函数为srv_printf_innodb_monitor。栈针：

srv_dict_tmpfile (srv0start.cc:2032)：主要和外键创建信息输出有关。

srv_misc_tmpfile (srv0start.cc:2041)：主要和外键抛错输出有关。

lock_latest_err_file (lock0lock.cc:465)：主要和死锁报错输出有关。

dict_foreign_err_file (dict0dict.cc:1245)：主要和外键抛错输出有关。

我们可以发现实际上这些文件都不会占用太大，实际上这5个文件初始化后就已经建立好了。

三、为什么lsof默认的输出会多很多

很明显我们上面ib打头的文件只有5个，那么我们lsof(不加任何参数)的时候看到的会多很多呢？

如下是我初始化启动的情况下看到的个数：

我们主要关注以下几列：

PID：is the Process IDentification number of the process.

TID：is the task (thread) IDentification number

FD：is the File Deor number of the file

SIZE/OFF：is the size of the file or the file offset in bytes

NAME：is the name of the mount point and file system on which the file resides 更加详细的自行参考man。

从输出中我们可以发现

PID都是12916这正是mysqld的PID，而它们的TID则不同，这些当然就是多线程造成的原因了。

FD和NAME实际上是有规律的重复的，其实只有5个值而已。这代表我们上面说的5个临时文件

SIZE都比较小。

因此我们可以认为虽然输出多达215行，但是实际上整个MySQLD进程只打开了5个文件而已也就是我们前面说的那5个临时文件，这是因为线程间文件描述符(FD)是共享的，每一个线程lsof查看的时候都会显示这5个临时文件，如果我们的MySQL有很多session，那么线程会很多很多，那么lsof看到的临时文件数量就是线程数据量*5。因此我们在检查临时文件使用空间情况的时候不要被过多的输出而吓到，我们只要输出MySQLD进程的临时文件即可，输出如下：

注意MySQL8.0.21下这些临时文件的名字有一些变化，Liunx下可能直接(O_TMPFILE flag)使用这种方式建立如下：

虽然临时文件名有所变化，但是基本的用途和5.7差不多

四、线程间的文件描述符(FD)是共享的

这一段没什么好解释的借用Linux系统编程的一段说明如下：