MySQL的数据目录
一. MySQL8的主要目录结构
安装好MySQL 8之后,我们通过find
命令查看有关mysql
的目录:
find / -name mysql
有六个目录,我们对主要的目录进行分析
1、 数据库文件的存放路径
MySQL数据库文件的存放路径:/var/lib/mysql/
MysQL服务器程序在启动时会到文件系统的某个目录下加载一些文件,之后在运行过程中产生的数据也都会存储到这个目录下的某些文件中,这个目录就称为数据目录
。
MySQL把数据都存到哪个路径下呢?其实数据目录
对应着一个系统变量datadir
,我们在使用客户端与服务器建立连接之后查看这个系统变量的值就可以了,我们可以通过 SQL
命令来查看
mysql> show variables like 'datadir';
+---------------+-----------------+
| Variable_name | Value |
+---------------+-----------------+
| datadir | /var/lib/mysql/ |
+---------------+-----------------+
1 row in set (0.00 sec)
从结果中可以看出,在我的计算机上MySQL的数据目录就是/var/lib/mysql/
2、相关命令目录
相关命令目录:/usr/bin(mysqladmin、mysqlbinlog、mysqldump等命令)和/usr/sbin。
安装目录
下非常重要的bin
目录,它里边存储了许多关于控制客户端程序和服务器程序的命令(许多可执行文件,比如mysql
,mysqld
,mysqld_safe
等)。而数据目录
是用来存储MySQL在运行过程中产生的数据,注意区分开二者。
3、配置文件目录
配置文件目录:/usr/share/mysql-8.0(命令及配置文件),/etc/mysql(如my.cnf)
二、数据库和文件系统的关系
像InnoDB
、MyISAM
这样的存储引擎都是把表存储在磁盘上的,操作系统用来管理磁盘的结构被称为文件系统
,所以用专业一点的话来表述就是:像InnoDB
、MylISAM
这样的存储引擎都是把表存储在文件系统上
的。当我们想读取数据的时候,这些存储引擎会从文件系统中把数据读出来返回给我们,当我们想写入数据的时候,这些存储引擎会把这些数据又写回文件系统。本章学习一下InnoDB和MyISAM这两个存储引擎的数据如何在文件系统中存储。
2.1 、查看默认数据库
查看一下在我的计算机上当前有哪些数据库:
mysql> SHOW DATABASES;
可以看到有4个数据库是属于MySQL自带的系统数据库。
mysql
MySQL 系统自带的核心数据库,它存储了MySQL的用户账户和权限信息,一些存储过程、事件的定义信息,一些运行过程中产生的日志信息,一些帮助信息以及时区信息等。
information_schema
MySQL 系统自带的数据库,这个数据库保存着MySQL服务器 维护的所有其他数据库的信息
,比如有哪些表、哪些视图、哪些触发器、哪些列、哪些索引。这些信息并不是真实的用户数据,而是一些描述性信息,有时候也称之为 元数据
。在系统数据库 information_schema
中提供了一些以innodb_sys
开头的表,用于表示内部系统表
mysql> USE information_schema;
Database changed
mysql> SHOW TABLES LIKE 'innodb_sys%';
+--------------------------------------------+
| Tables_in_information_schema (innodb_sys%) |
+--------------------------------------------+
| INNODB_SYS_DATAFILES |
| INNODB_SYS_VIRTUAL |
| INNODB_SYS_INDEXES |
| INNODB_SYS_TABLES |
| INNODB_SYS_FIELDS |
| INNODB_SYS_TABLESPACES |
| INNODB_SYS_FOREIGN_COLS |
| INNODB_SYS_COLUMNS |
| INNODB_SYS_FOREIGN |
| INNODB_SYS_TABLESTATS |
+--------------------------------------------+
10 rows in set (0.00 sec)
performance_schema
MySQL 系统自带的数据库,这个数据库里主要保存MySQL服务器运行过程中的一些状态信息,可以用来监控 MySQL 服务的各类性能指标 。包括统计最近执行了哪些语句,在执行过程的每个阶段都花费了多长时间,内存的使用情况等信息。
sys
MySQL 系统自带的数据库,这个数据库主要是通过 视图 的形式把information_schema
和 performance_schema
结合起来,帮助系统管理员和开发人员监控 MySQL 的技术性能
2.2 、数据库在文件系统中的表示
我们进入数据库文件的存放路径:/var/lib/mysql
看到上面这些蓝色的就是我们Mysql中存在的数据库。
MySQL5.7版本
,我们以我们自己创建的数据库dbtest1
为例。
这个数据库中只有一张表emp1
由上面第一张图片,我们知道这张表有三个文件,分别存储了三种东西
db.opt :这个主要存储了这个数据库使用的字符集和比较规则设置。
xxx.frm:是用来存储这个表的结构的,比如说这个表的字段名,字段的属性,字段的大小。
xxx.ibd :这个主要存储表的数据和索引,但是表中数据的存储根据不同的MySQL版本存储在不同的地方,就是下面的系统表空间和独立表空间
。
MySQL8.0版本
,我们以我们自己创建的数据库dbtest1
为例。
这个数据库也只有一张表emp1
我们发现只有一个文件 xxx.ibd
,他没有了5.7
的 xxx.frm
文件,而是8.0
将表的结构和数据都写进了一个文件进行存储。
2.3 、表在文件系统中的表示
2.3.1 InnoDB存储引擎模式
1. 表结构
为了保存表结构,InnoDB
在 数据目录 下对应的数据库子目录下创建了一个专门用于 描述表结构的文 件 ,文件名是这样:
表名.frm
如上面所示的那些一样
.frm
文件的格式在不同的平台上都是相同的。这个后缀名为.frm是以 二进制格式
存储的,我们直接打开是乱码的。
2. 表中数据和索引
储备知识:(索引章节会讲到)
- InnoDB其实是使用页为基本单位来管理存储空间的,默认的
页
大小为16KB
。- 对于InnoDB存储引擎来说,每个索引都对应着一棵B+树,该B+树的每个节点都是一个数据页,数据页之间不必要是物理连续的,因为数据页之间有
双向链表
来维护着这些页的顺序。- InnoDB的聚簇索引的叶子节点存储了完整的用户记录,也就是所谓的索引即数据,
数据即索引
。
为了更好的管理这些页,InnoDB提出了一个表空间
或者文件空间
(英文名: table space或者file space )的概念,**这个表空间是一个抽象的概念,**它可以对应文件系统上一个或多个真实文件(不同表空间对应的文件数量可能不同)。每一个表空间可以被划分为很多个页,我们的表数据就存放在某个表空间下的某些页里。这里表空间有几种不同的类型:
一、系统表空间(system tablespace)
默认情况下,InnoDB
会在数据目录下创建一个名为ibdata1
、大小为 12M
的文件,这个文件就是对应的 系统表空间
在文件系统上的表示。怎么才12M?注意这个文件是 自扩展文件
,当不够用的时候它会自己增加文件大小。
当然,如果你想让系统表空间对应文件系统上多个实际文件,或者仅仅觉得原来的ibdata1
这个文件名难听,那可以在MySQL启动时配置对应的文件路径以及它们的大小,比如我们这样修改一下my.cnf
配置文件:
[server]
innodb_data_file_path=data1:512M;data2:512M:autoextend
这样在MysQL启动之后就会创建这两个512M大小
的文件作为系统表空间
,其中的autoextend
表明这两个文件如果不够用会自动扩展data2
文件的大小。
需要注意的一点是,在一个MySQL服务器中,系统表空间只有一份。从MySQL5.5.7到MySQL5.6.6
之间的各个版本中,我们表中的数据都会被默认存储到这个系统表空间。
二、独立表空间(file-per-table tablespace)
在MySQL5.6.6以及之后的版本中
,InnoDB并不会默认的把各个表的数据存储到系统表空间中,而是为 每 一个表建立一个独立表空间
,也就是说我们创建了多少个表,就有多少个独立表空间。使用 独立表空间
来存储表数据的话,会在该表所属数据库对应的子目录下创建一个表示该独立表空间的文件,文件名和表名相同,只不过添加了一个.ibd
的扩展名而已,所以完整的文件名称长这样:
表名.ibd
比如:我们使用了独立表空间
去存储 dbtest1
数据库下的 test
表的话,那么在该表所在数据库对应的 dbtest1
目录下会为 test
表创建这两个文件:
test.frm
test.ibd
其中 test.ibd 文件就用来存储 test 表中的数据和索引。
三、系统表空间与独立表空间的设置
我们可以自己指定使用 系统表空间
还是 独立表空间
来存储数据,这个功能由启动参数==innodb_file_per_table ==控制,比如说我们想刻意将表数据都存储到 系统表空间
时,可以在启动MySQL服务器的时候这样配置:
[server]
innodb_file_per_table=0 # 0:代表使用系统表空间; 1:代表使用独立表空间
默认情况:on就是独立表空间
mysql> show variables like 'innodb_file_per_table';
+-----------------------+-------+
| Variable_name | Value |
+-----------------------+-------+
| innodb_file_per_table | ON |
+-----------------------+-------+
1 row in set (0.01 sec)
四、其他类型的表空间
随着MySQL的发展,除了上述两种老牌表空间之外,现在还新提出了一些不同类型的表空间,比如通用表空间(general tablespace)
、临时表空间(temporary tablespace
)等。
疑问:
.frm
在MysQL8中不存在了。那去哪里了呢?
这就需要解析ibd文件。Oracle官方将frm文件的信息及更多信息移动到叫做序列化字典信息(Serialized DictionaryInformation,SDI)
,SDI被写在ibd文件内部。MySQL 8.0属于oracle旗下,同理。
为了从IBD文件中提取SDI信息,Oracle提供了一个应用程序== ibd2sdi==。
ibd2sdi官方文档
这个工具不需要下载,MySQL8自带的有,只要你配好环境变量就能到处用。
(1)查看表结构
到存储ibd文件的目录下,执行下面的命令:
ibd2sdi --dump-file=emp1.txt emp1.ibd
结果如下
2.3.2 MyISAM存储引擎模式
1、表结构
在存储表结构方面, MyISAM
和 InnoDB
一样,也是在 数据目录
下对应的数据库子目录下
创建了一个专门用于描述表结构的文件:
表名.frm
这个表结构文件在5.7和8.0版本名字不一样,但是都是存储表结构的
- 5.7里面是 xxx.frm
- 8.0里面是 xxx_xxx.sdi
2.表中数据和索引
在 Innodb
中,索引即是数据
在MyISAM
中的索引全部都是二级索引
,该存储引擎的数据和索引是分开存放
的。所以在文件系统中也是使用不同的文件来存储数据文件和索引文件,同时表数据都存放在对应的数据库子目录下。假如test
表使用MyISAM
存储引擎的话,那么在它所在数据库对应的 dbtest1
目录下会为 test
表创建这三个文件:
test.frm 存储表结构
test.MYD 存储数据 (MYData)
test.MYI 存储索引 (MYIndex)
举例:创建一个 MyISAM 表,使用 ENGINE 选项显式指定引擎。因为 InnoDB 是默认引擎。
CREATE TABLE `student_myisam` (
`id` bigint NOT NULL AUTO_INCREMENT,
`name` varchar(64) DEFAULT NULL,
`age` int DEFAULT NULL,
`sex` varchar(2) DEFAULT NULL,
PRIMARY KEY (`id`) )ENGINE=MYISAM AUTO_INCREMENT=0 DEFAULT CHARSET=utf8mb3;
5.7如下
包含三个文件:
student_myisam.frm --存储表结构
student_myisam.MYD --存储数据
student_myisam.MYI --存储索引
可以发现,在之前的数据厍版本中,MyISAM引擎已存在frm文件,但是在MySQL8之后也和InnoDB引擎一样去掉了,放入了sdi文件中。
8.0如下
包含三个文件:
student_myisam_361.sdi --存储元数据
student_myisam.MYD --存储数据
student_myisam.MYI --存储索引
对于InnoDB表,SDl与InnoDB用户表空间中的数据一起存储。对于MyISAM和其他存储引擎,它被写入数据目录中的.sdi文件。
在MySQL 8.0中,MyISAM
存储引擎不提供分区支持。在以前版本的MySQL 中创建的分区MyISAM表不能在MySQL 8.0中使用。
2.4、小结
举例
: 数据库a , 表b 。
1、如果表b
采用 InnoDB
,data\a 中会产生1个或者2个文件:
b.frm
:描述表结构文件,字段长度等- 如果采用
系统表空间
模式的,数据信息和索引信息都存储在ibdata1
中 - 如果采用
独立表空间
存储模式,data\a 中还会产生b.ibd
文件(存储数据信息和索引信息)
此外:
① MySQL5.7
中会在data/a
的目录下生成 db.opt
文件用于保存数据库的相关配置。比如:字符集、比较规则。而MySQL8.0不再提供db.opt文件。
② MySQL8.0
中不再单独提供b.frm
,而是合并在b.ibd文件中。
2、如果表b
采用 MyISAM
,data\a 中会产生3个文件:
- MySQL5.7 中:
b.frm
:描述表结构文件,字段长度等。 - MySQL8.0 中
b.xxx.sdi
:描述表结构文件,字段长度等 b.MYD
(MYData):数据信息文件,存储数据信息(如果采用独立表存储模式)b.MYI
(MYIndex):存放索引信息文件
2.5、视图在文件系统的表示
我们知道MySQL中的视图
其实是虚拟的表,也就是某个查询语句的一个别名而已,所以在存储视图的时候是不需要存储真实的数据的,只需要把它的结构存储起来就行了。和表一样,描述视图结构的文件也会被存储到所属数据库对应的子目录下边,只会存储一个视图名.frm的文件
2.6、其他的文件
除了我们上边说的这些用户自己存储的数据以外,数据目录
下还包括为了更好运行程序的一些额外文件,主要包括这几种类型的文件:
-
服务器进程文件
我们知道每运行一个MySQL服务器程序,都意味着启动一个进程。MySQL服务器会把自己的进程lD写入到一个文件中。
-
服务器日志文件
在服务器运行过程中,会产生各种各样的日志,比如常规的查询日志、错误日志、二进制日志、redo日志等。这些日志各有各的用途,后面讲解。
-
默认/自动生成的SSL和RSA证书和密钥文件
主要是为了客户端和服务器安全通信而创建的一些文件。