【Mysql】Mysql的数据目录（八）

前言

我们在Mysql中经常使用的存储引擎如InnoDB 、 MyISAM 都是把表存储在文件系统上的。当我们想读取数据的时候，这些存储引擎会从文件系统中把数据读出来返回给我们，当我们想写入数据的时候，这些存储引擎会把这些数据又写回文件系统。那么这两个存储引擎的数据如何在文件系统中存储的呢？

MySQL数据目录

MySQL服务器程序在启动时会到文件系统的某个目录下加载一些文件，之后在运行过程中产生的数据也都会存储到这个目录下的某些文件中，这个目录就称为数据目录 ，接下来我们来这个目录下具体都有哪些重要的东西。

数据目录和安装目录的区别

安装目录是指我们安装Mysql的目录（可以自己指定），在这个目录中有一个很重要而且经常使用的子目录 bin ，它里边存储了许多关于控制客户端和服务端的命令（比如 mysql ， mysqld ， mysqld_safe 等）。而数据目录是用来存储 MySQL 在运行过程中产生的数据，在初始化数据库的时候可以指定。两者要区分开。

如何查看MySQL中的数据目录

在mysql中，数据目录其实是一个系统变量 datadir ，我们可以使用如下命令查看当前连接的数据库关于该变量的值：

mysql> show variables like "%datadir%";
+---------------+------------------+
| Variable_name | Value            |
+---------------+------------------+
| datadir       | /data/3306/data/ |
+---------------+------------------+
1 row in set (0.01 sec)

在我的系统中，单独设置过目录为/data/3306/data/

数据目录的结构

MySQL 在运行过程中会产生如下数据，包含我们创建的数据库、表、视图和触发器等，除了这些用户数据，为了程序更好的运行， MySQL 也会创建一些其他的额外数据。

数据库在文件系统中的表示

当我们使用CREATE DATABASE 数据库名 语句创建一个数据库的时候，对应在文件系统上MySQL会帮我们做如下两件事：
1 . 在数据目录下创建一个和数据库名同名的子目录（或者说是文件夹）。
2 . 在该与数据库名同名的子目录下创建一个名为 db.opt 的文件，这个文件中包含了该数据库的各种属性，比方说该数据库的字符集和比较规则等。比如说我当前服务器上有如下一些数据库：

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| charset_demo       |
| mysql              |
| performance_schema |
| sys                |
| test               |
| test2              |
+--------------------+
7 rows in set (0.00 sec)

可以看到在我的计算机上当前有7个数据库，其中 charset_demo 、 test和 test2 数据库是我们自定义的，其余4个数据库是属于MySQL自带的系统数据库。我们再看一下我的计算机上的 数据目录下的内容：

[root@k8s-m2 data]# ll -d  /data/3306/data/*/
drwxr-x--- 2 mysql mysql   52 Oct 16 22:23 /data/3306/data/charset_demo/
drwxr-x--- 2 mysql mysql 4096 Oct 11 09:43 /data/3306/data/mysql/
drwxr-x--- 2 mysql mysql 8192 Oct 11 09:43 /data/3306/data/performance_schema/
drwxr-x--- 2 mysql mysql 8192 Oct 11 09:43 /data/3306/data/sys/
drwxr-x--- 2 mysql mysql 4096 Oct 20 10:36 /data/3306/data/test/
drwxr-x--- 2 mysql mysql   20 Oct 16 16:27 /data/3306/data/test2/

可以看到，除了 information_schema 这个系统数据库外，其他的数据库在 数据目录下都有对应的子目录。这个 information_schema 比较特殊，它有特殊的用途和实现方式，后续我们进行说明。

表在文件系统中的表示

我们的数据其实都是以记录的形式插入到表中的，每个表的信息其实可以分为两种：
1 . 表结构的定义
2 . 表中的数据
表结构就是该表的名称，表中列的数量，列的数据类型，各种束条件和索引，字符集和比较规则等信息，这些信息在我们的建表的时候可以指定。为了保存这些信息， InnoDB 和MyISAM 这两种存储引擎都在数据目录下对应的数据库子目录下创建了一个专门用于记录表结构的文件，文件名是这样：
表名.frm
比如说我们之前在test数据库下创建一个名为 page_demo的表：

[root@k8s-m2 data]# ll -d  /data/3306/data/test/page_demo.frm 
-rw-r----- 1 mysql mysql 8608 Oct 18 10:51 /data/3306/data/test/page_demo.frm

那在数据库 test对应的子目录下就会创建一个名为 page_demo.frm 的用于描述表结构的文件。注意：这个后缀名为.frm是以二进制格式存储的，直接打开会乱码。
接下来看看表中的数据是如何存储的，在 InnoDB 和 MyISAM 数据存储是不一样的，下边我们分别看看。

InnoDB如何存储表数据

InnoDB 其实是使用页为基本单位来管理存储空间的，默认的页大小为 16KB 。对于InnoDB 存储引擎来说，每个索引都对应着一棵 B+ 树，该 B+ 树的每个节点都是一个数据页，数据页之间不必要是物理连续的，因为数据页之间有双向链表来维护着这些页的顺序。InnoDB 的聚簇索引的叶子节点存储了完整的用户记录，也就是所谓的索引即数据，数据即索引。

为了更好的管理这些页，InnoDB引用了一个表空间或者文件空间 （ table space 或者 file space ）的概念，这个表空间是一个抽象的概念，它可以对应文件系统上一个或多个真实文件（不同表空间对应的文件数量可能不同）。每一个表空间可以被划分为很多个页 ，我们的表数据就存放在某个表空间下的某些页里。InnoDB中将表空间划分为几种不同的类型，下面分别来看。
系统表空间（system tablespace）
系统表空间可以对应文件系统上一个或多个实际的文件，默认情况下，InnoDB会在数据目录下创建一个名为ibdata1、大小为12M 的文件，这个就是系统表空间类型在文件系统上对应的文件。这个文件是一种自扩展文件 ，意思就是当数据增多存储不下的时候它会自己增加文件大小。当然，也可以让系统表空间对应文件系统上多个实际文件，或者是觉得原来的 ibdata1 这个文件名难听，那可以在 MySQL 启动时配置对应的文件路径以及它们的大小，比如我们这样修改一下配置文件：
[server]
innodb_data_file_path=data1:512M;data2:512M:autoextend
这样在 MySQL 启动之后就会创建data1、data2这两个512M大小的文件作为系统表空间 ，其中的 autoextend 表明这两个文件如果不够用会自动扩展 data2 文件的大小。

我们也可以把系统表空间对应的文件路径不配置到数据目录下，甚至可以配置到单独的磁盘分区上，涉及到的启动参数就是 innodb_data_file_path 和 innodb_data_home_dir（该变量默认为空） ，如果需要具体的配置可以参考官方文档。
需要注意的一点是，在一个MySQL服务器中，系统表空间只有一个。从MySQL5.5.7到MySQL5.6.6之间的各个版本中，我们表中的数据都会被默认存储到这个系统表空间。

独立表空间(file-per-table tablespace)
在MySQL5.6.6以及之后的版本中， InnoDB 并不会默认的把各个表的数据存储到系统表空间中，而是为每一个表建立一个独立表空间，也就是我们每创建了多少个表，就有多少个独立表空间。使用独立表空间来存储表数据的话，会在该表所属数据库对应的子目录下创建一个表示该独立表空间的文件，文件名和表名相同，并添加了一个 .ibd 的扩展名，所以完整的文件名称长如下：
表名.ibd
比如我们使用了独立表空间去存储 test数据库下的page_demo表的话，那么在该表所在数据库对应的test目录下会为 page_demo 表创建这两个文件：

[root@k8s-m2 data]# ll test/page_demo.*
-rw-r----- 1 mysql mysql  8608 Oct 18 10:51 test/page_demo.frm
-rw-r----- 1 mysql mysql 98304 Oct 18 16:09 test/page_demo.ibd

其中 page_demo.ibd 文件就用来存储 page_demo表中的数据和索引。当然我们也可以自己指定使用系统表空间还是独立表空间来存储数据，这个功能由启动参数 innodb_file_per_table 控制，比如说我们想刻意将表数据都存储到系统表空间时，可以在启动 MySQL 服务器的时候这样配置：
[server]
innodb_file_per_table=0
当 innodb_file_per_table 的值为 0 时，代表使用系统表空间；当 innodb_file_per_table 的值为 1 时，代表使用独立表空间。但是 innodb_file_per_table 参数只对后续建的表起作用，不能改变已经分配了表空间的表空间类型。如果我们想把已经存在系统表空间中的表转移到独立表空间，可以使用下边的语法：
ALTER TABLE 表名 TABLESPACE [=] innodb_file_per_table;
或者把已经存在独立表空间的表转移到系统表空间，可以使用下边的语法：
ALTER TABLE 表名 TABLESPACE [=] innodb_system;
其中中括号扩起来的 = 可以省略，比如我们想把 page_demo 表从独立表空间移动到系统表空间，可以这么写：
ALTER TABLE page_demo TABLESPACE innodb_system;

其他类型的表空间
随着MySQL的发展优化，除了上述两种老的表空间类型，现在还新提出了一些新的不同类型的表空间，比如通用表空间（general tablespace）、undo表空间（undo tablespace）、临时表空间（temporary tablespace）等。后续我们在使用到的时候在具体说明。

MyISAM表数据存储

我们知道在MyISAM 中的索引全部都是二级索引 ，该存储引擎的数据和索引是分开存放的。所以在文件系统中也是使用不同的文件来存储数据文件和索引文件。并且和 InnoDB不同的是， MyISAM 并没有所谓的表空间，表数据都存放到对应的数据库子目录下。假如 page_demo表使用 MyISAM 存储引擎的话，那么在它所在数据库对应的 test 目录下会为 page_demo 表创建这三个文件：
page_demo.frm
page_demo.MYD
page_demo.MYI
其中page_demo.frm 存放表结构， page_demo.MYD 存放我们插入的用户记录； page_demo.MYI 存放索引文件。

视图在文件系统中的表示

MySQL 中的视图其实是虚拟的表，相当于某个查询语句的一个别名，所以在存储 视图 的时候是不需要存储真实的数据的，只需要把它的结构存储起来就行了。和表一样，描述视图结构的文件也会被存储到所属数据库对应的子目录下边，只会存储一个 视图名.frm 的文件。创建一个简单的测试效果：

mysql>  create or replace view page_v_1 as select * from page_demo;
Query OK, 0 rows affected (0.09 sec)

[root@k8s-m2 data]# ll test/page_v_1.frm 
-rw-r----- 1 mysql mysql 547 Oct 23 11:41 test/page_v_1.frm

其他的文件

除了我们上边说的用户自己存储的数据以外， 数据目录下还包括一些其他额外的必要文件，主要包括以下几种类型的文件：

• 服务器进程文件。
  我们知道每运行一个 MySQL 服务器程序，都意味着启动一个进程。 MySQL 服务器会把自己的进程ID写入到一个文件中。
• 服务器日志文件。
  在服务器运行过程中，会产生各种各样的日志，比如常规的查询日志、错误日志、二进制日志、redo日志等，这些日志各有各的用途，我们后续会针对各种日志的用途进行分析。
• 默认/自动生成的SSL和RSA证书和密钥文件。
  主要是为了客户端和服务器安全通信而创建的一些文件（*.pem）。

文件系统对数据库的影响

因为Mysql 的数据都是存在文件系统中的，所以会受到文件系统的一些制约，这在数据库和表的命名、表的大小和性能方面体现的比较明显，比如下边这些方面：

• 数据库名称和表名称不得超过文件系统所允许的最大长度。
  每个数据库都对应数据目录的一个子目录，数据库名称就是这个子目录的名称；每个表都会在数据库子目录下产生一个和表名同名的 .frm 文件，如果是 InnoDB 的独立表空间或者使用 MyISAM 引擎还会有别的文件的名称与表名一致。这些目录或文件名的长度都受限于文件系统所允许的长度。
• 特殊字符的问题
  为了避免因为数据库名和表名出现某些特殊字符而造成文件系统不支持的情况， MySQL 会把数据库名和表名中所有除数字和拉丁字母以外的所有字符在文件名里都映射成 @+编码值 的形式作为文件名。比方说我们创建的表的名称为 ‘test#’ ，由于 #不属于数字或者拉丁字母，所以会被映射成编码值，所以这个表对应的 .frm 文件的名称就变成了 test@0023.frm 。
• 文件长度受文件系统最大长度限制
  对于 InnoDB 的独立表空间来说，每个表的数据都会被存储到一个与表名同名的 .ibd 文件中；对于 MyISAM存储引擎来说，数据和索引会分别存放到与表同名的 .MYD 和 .MYI 文件中。这些文件会随着表中记录的增加而增大，它们的大小受限于文件系统支持的最大文件大小。

Mysql系统数据库简介

Mysql 默认自带了的几个系统数据库，这几个数据库包含了MySQL服务器运行过程中所需的一些信息以及一些运行状态信息，我们稍作了解。

• mysql
  这个数据库相当重要，它存储了MySQL的用户账户和权限信息，一些存储过程、事件的定义信息，一些运行过程中产生的日志信息，一些帮助信息以及时区信息等。
• information_schema
  这个数据库保存着MySQL服务器维护的所有其他数据库的信息，比如有哪些表、哪些视图、哪些触发器、哪些列、哪些索引等。这些信息并不是真实的用户数据，而是一些描述性信息，有时候也称之为元数据。
• performance_schema
  这个数据库里主要保存MySQL服务器运行过程中的一些状态信息，算是对MySQL服务器的一个性能监控。包括统计最近执行了哪些语句，在执行过程的每个阶段都花费了多长时间，内存的使用情况等等信息。
• sys
  这个数据库主要是通过视图的形式把 information_schema 和 performance_schema 结合起来，可以让我们更方便的了解MySQL服务器的一些性能信息。

更多关于mysql的知识分享，请前往博客主页。编写过程中，难免出现差错，敬请指出