Mysql高级篇学习总结１：Mysql的数据目录

1、Mysql8的主要目录结构

安装好mysql后，可以查看安装了mysql的目录：

find / -name mysql

1.1 数据文件的存放路径

Mysql数据库文件的存放路径：/var/lib/mysql/

Mysql服务器程序在启动时会到文件系统的某个目录下加载一些文件，之后在运行过程中产生的数据也会存储到这个目录下的某些文件中，这个目录就称为数据目录。

数据目录对应着一个系统变量datadir，在使用客户端与服务器建立连接之后查看这个系统变量的值就可以了：

show variables like 'datadir';

通过该命令查看，确实查到了数据目录就是：/var/lib/mysql/

mysql> show variables like 'datadir';
+---------------+-----------------+
| Variable_name | Value           |
+---------------+-----------------+
| datadir       | /var/lib/mysql/ |
+---------------+-----------------+
1 row in set (0.19 sec)

1.2 相关命令目录

相关命令目录：/usr/bin（mysqladmin、mysqlbinlog、mysqldump等命令）和/usr/sbin。

安装目录下非常重要的是bin目录，它里面存储了许多关于控制客户端程序和服务器程序的命令（许多可执行文件，比如mysql、mysqld、mysqld_safe等）。而数据目录是用来存储Mysql在运行过程中产生的数据，注意区分开二者。

1.3 配置文件目录

配置文件目录：/usr/share/mysql-8.0（命令及配置文件），/etc/mysql（如my.cnf）

2、数据库和文件系统的关系

像InnoDB、MyISAM这样的存储引擎都是把表存储在磁盘上的，操作系统用来管理磁盘的结构被称为文件系统，所以用专业一点的话来表述就是：像InnoDB、MyISAM这样的存储引擎都是把表存储在文件系统上的。当我们想读取数据的时候，这些存储引擎会从文件系统中把数据读出来返回给我们，当我们想写入数据的时候，这些存储引擎会把这些数据又回写文件系统。

2.1 查看默认数据库

在初始安装mysql后，查看目前默认的数据库：

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
4 rows in set (0.09 sec)

可以看到有４个数据库是mysql自带的系统数据库
１）information_schema
Mysql系统自带的数据库，这个数据库保存着Mysql服务器维护的所有其他数据库的信息，比如有哪些表，哪些视图、哪些触发器、哪些列、哪些索引。这些信息并不是真实的用户数据，而是一些描述性信息，有时候也称之为元数据。在系统数据库information_schema中提供了一些以innodb_sys开头的表，用于表示内部系统表。
２）mysql
Mysql系统自带的核心数据库，它存储了Mysql的用户账户和权限信息，一些存储过程、事件的定义信息，一些运行过程中产生的日志信息，一些帮助信息以及时区信息等。
３）performance_schema
Mysql系统自带的数据库，这个数据库里主要保存Mysql服务器运行过程中的一些状态信息，可以用来监控Mysql服务的各类性能指标。包括统计最近执行了哪些语句，在执行过程的每个阶段都花费了多长时间，内存的使用情况等信息。
４）sys
Mysql系统自带的数据库，这个数据库主要是通过视图的形式把information_schema和performance_schema结合起来，帮助系统管理员和开发人员监控mysql的技术性能。

2.2 数据库在文件系统中的表示

使用CREATE DATABASE 数据库名 语句创建一个数据库的时候，每个数据库都对应数据目录下的一个子目录。即每当新建一个数据库时候，Mysql会做２件事：
１）在数据目录下创建一个和数据库名同名的子目录；
２）在与该数据库名同名的子目录下创建一个名为db.opt的文件（Mysql５.7及之前版本），这个文件包含了该数据库的各种属性，比如改数据库的字符集和比较规则。

首先在mysql 5.7和mysql 8.0的数据库上分别建一个数据库（dbtest1）和一张表（emp1）：

mysql> CREATE DATABASE IF NOT EXISTS dbtest1;
Query OK, 1 row affected (0.00 sec)

mysql> USE dbtest1;
Database changed

mysql> CREATE TABLE IF NOT EXISTS emp1(id int, name varchar(32));
Query OK, 0 rows affected (0.36 sec)

2.3 表在文件系统中的表示

我们的数据其实都是以记录的形式插入到表中的，每个表的信息其实可以分为两种：
１）表结构的定义；
２）表中的数据

表结构就是该表的名称，表里面有多少列，每个列的数据类型，约束条件和索引，使用的字符集和比较规则等各种信息，这些信息都体现在了我们的建表语句中。

2.3.1 InnoDB存储引擎模式

１、表结构
为了保存表结构，InnoDB在数据目录下对应的数据库子目录下创建了一个专门用于描述表结构的文件，文件名的格式如下：

表名.frm

２、表中数据和索引
１）系统表空间（system tablespace）
默认情况下，InnoDB会在数据目录下创建一个名为 ibdata1，大小为 12M 的文件，这个文件就是对应的系统表空间在文件系统上的表示。虽然它只有12M，但是这个文件是一个自扩展文件，当不够用的时候，它会自己增加文件大小。

当然，如果想让系统表空间对应文件系统上多个实际文件，或者觉得原来的ibdata1这个文件名不好听，那么是可以在mysql启动时配置对应文件路径以及它们的大小，比如可以修改my.cnf的配置文件：

[server]
innodb_data_file_path=data1:512M;data2:512M:autoextend

这样在mysql启动之后就会创建者２个512M大小的文件作为系统表空间，其中的autoextend表明这２个文件如果不够用，会自动扩展data2文件的大小。

需要注意的是，在一个mysql服务器中，系统表空间只有一份。从mysql5.5.7到mysql5.6.6之间的各个版本中，表中的数据都会被默认存储到这个系统表空间。

２）独立表空间（file-per-table tablespace）
在mysql 5.6.6及其之后的版本中，InnoDB并不会默认地把各个表的数据存储到系统表空间中，而是为每一个表建立一个独立表空间，也就是说创建了多少个表，就会有多少个独立表空间。使用独立表空间来存储表数据的话，会在该表所属数据库对应的子目录下创建一个表示该独立表空间的文件，文件名和表名相同，只不过添加了一个.ibd的扩展名，所以完整的文件名称格式为：

表名.ibd

３）系统表空间和独立表空间的切换设置
自己可以指定使用系统表空间还是独立表空间来存储数据，这个功能由启动参数innodb_file_per_table控制，比如我们想将表数据都存储到系统表空间时，可以在启动mysql服务器的配置改为：

[server]
innodb_file_per_table=0  # 0：代表使用系统表空间。１：代表使用独立表空间

针对上面对数据库和表的存储介绍，以下分mysql 5.7和mysql 8.0两个版本进行演示：
１）Mysql 5.7版本
首先进入数据目录：/var/lib/mysql。可以看到系统表格空间ibdata1，同时也可以看到刚刚建立的数据库dbtest1。

然后进入数据库dbtest1，可以看到保存dbtest1数据库的各种属性的文件：db.opt。其次还有保存表emp1的表结构的文件emp1.frm，以及保存表emp1的表数据的emp1.ibd。

２）Mysql 8.0版本
首先进入数据目录：/var/lib/mysql。依然可以看到系统表格空间ibdata1，以及刚刚建立的数据库dbtest1。

然后进入数据库dbtest1，此时已经没有了5.7中保存表结构的.frm文件了，只有emp1.ibd文件，因此可以猜测８.0版本为了方便管理，将表结构的信息和数据信息放到一块了，也就是都放到了.ibd文件中了。

Oracle官方将.frm文件的信息及更多信息移动到叫做序列化字典信息（Serialized Dictionary Information, SDI），SDI被写到ibd文件内部。

为了从ibd文件中提取SDI信息，Oracle提供了一个应用程序ibd2sdi。这个工具不用下载，Mysql8.0自带的有，因此我们可以通过该工具来查看下，ibd文件里面现在是不是包含了表结构的信息：

ibd2sdi --dump-file=文件名.txt 表名.ibd

通过上图，我们查看解析后的emp1.txt文件，可以看到刚刚创建的id字段的信息，下面的内容太多，就没有再放在截图中了。从这里可以看到，8.0版本中的.ibd文件中确认包含了5.7版本中.frm表结构的信息。

2.3.2 MylSAM存储引擎模式

１、表结构
在存储表结构方面，MyISAM和InnoDB一样，也是在数据目录下对应的数据库子目录下创建了一个专门用于描述表结构的文件：

表名.frm

２、表中数据和索引
在MyISAM中的索引全部都是二级索引，改存储引擎的数据和索引是分开存放的。所以在文件系统中也是使用不同的文件来存储数据文件和索引文件，同时表数据都存放在对应的数据库子目录下。假如test表使用MyISAM存储引擎的话，那么在它所在数据库对应的目录下会创建以下３个文件：

test.frm 存储表结构
test.MYD 存储数据（MY Data）
test.MYI 存储索引（MY Index）

其中test.MYD代表表的数据文件，也就是我们插入的用户记录。采用独立表存储方式，每个表对应一个MYD文件。test.MYI代表表的索引文件，我们为该表创建的索引都会放到这个文件中。

举例，还是分别在5.7和8.0版本的dbtest1数据库中，创建一个表emp2，指定存储引擎为MYISAM：

mysql> CREATE TABLE IF NOT EXISTS emp2(id int, name varchar(32)) 
　　　　ENGINE MYISAM CHARSET=utf8mb3;
Query OK, 0 rows affected (0.05 sec)

１）Mysql 5.7版本
重新查看dbtest1的目录，此时可以看到emp2表的对应的３个文件信息

２）Mysql 8.0版本
重新查看dbtest1的目录，可以看到8.0版本中，保存表结构信息的文件由.frm改为了.sdi文件。

2.4 小结

举例：新建数据库a，表b
１、如果表b采用InnoDB，a目录下会产生１个或者２个文件：

• b.frm：描述表结构文件，字段长度等；
• 如果采用系统表空间模式，数据信息和索引信息都存储在ibdata1中；如果采用独立表空间模式，a目录下还会产生b.ibd文件。
  此外：
  １）mysql 5.7版本中会在a目录下生成db.opt文件用于保存数据库a的相关配置。比如：字符集、比较规则。而mysql 8.0版本中不再提供db.opt文件。
  ２）mysql 8.0版本中不再单独提供b.frm，而是合并在b.ibd文件中。

２、如果表b采用MYISAM，a目录会产生３个文件

• mysql 5.7版本中：b.frm：描述表结构文件，字段长度等；mysql 8.0版本中则为：b.xxx.sdi。
• b.MYD（MY Data）：数据信息文件，存储数据信息
• b.MYI（MY Index）：存放索引信息文件

2.5 视图在文件系统中的表示

我们知道mysql中的视图其实是虚拟的表，也就是某个查询语句的一个别名而已，所以在存储视图的时候是不需要存储真实的数据的，只需要把它的结构存储起来就行了。和表一样，描述视图结构的文件也会被存储到所属数据库对应的子目录下边，只会存储一个 视图名.frm 的文件。

2.6 其他的文件

除了上面说的这些用户自己存储的数据以外，数据目录下还包括为了更好运行程序的一些额外文件，主要包括以下集中类型的文件：

• 服务器进程文件：mysql服务器会把自己的进程id写入到一个文件中。
• 服务器日志文件：在服务器运行过程中，会产生各种各样的日期，比如常规的查询日志、错误日志、二进制日志、redo日志等。
• 默认/自动生成的SSL和RSA证书和秘钥文件：主要是为了客户端和服务器安全通信而创建的一些文件。