一、数据库和文件系统的关系
像 InnoDB
、
MyISAM 这样的存储引擎都是把表存储在磁盘上的,而操作系统用来管理磁盘的又 被称为
文件系统
,用专业一点的话来表述就是:
像
InnoDB
、
MyISAM 这样的存储引擎都是把表存储在文 件系统上的
。当我们想读取数据的时候,这些存储引擎会从文件系统中把数据读出来返回给我们,当我们想写入 数据的时候,这些存储引擎会把这些数据又写回文件系统。
二、数据目录
MySQL服务器程序在启动时会到文件系统的某个目录下加载一些文件,之后在运行过程中产生的数据也都会存储 到这个目录下的某些文件中,这个目录就称为 数据目录。
2.1
数据目录和安装目录的区别
数据目录 是用来存储
MySQL 在运行过程中产生的 数据。
2.2
如何确定
MySQL
中的数据目录
数据目录
对应着一个系统变量
datadir。
三、数据目录的结构
3.1 数据库在文件系统中的表示
新建一个数据库时, MySQL
会做这两件事儿:
1. 在 数据目录
下创建一个和数据库名同名的子目录(或者说是文件夹)。
2. 在该与数据库名同名的子目录下创建一个名为 db.opt 的文件,这个文件中包含了该数据库的各种属性,比 方说该数据库的字符集和比较规则是个啥。
3.2
表在文件系统中的表示
数据其实都是以记录的形式插入到表中的,每个表的信息其实可以分为两种:
1. 表结构的定义
2. 表中的数据
InnoDB 和 MyISAM 这两种存储引擎都在
数据目录 下对应的数据库子目录下创建了一个专门用于描述表结构的文件,文件名:表名.frm
3.2.1 InnoDB
是如何存储表数据的
InnoDB 的一些实现原理:
InnoDB 其实是使用 页
为基本单位来管理存储空间的,默认的
页
大小为
16KB
。
对于 InnoDB 存储引擎来说,每个索引都对应着一棵
B+
树,该
B+ 树的每个节点都是一个数据页,数据页之 间不必要是物理连续的,因为数据页之间有
双向链表
来维护着这些页的顺序。
InnoDB 的聚簇索引的叶子节点存储了完整的用户记录,也就是所谓的
索引即数据,数据即索引
。
为更好的管理页,设计 InnoDB
提出了一个
表空间
或者
文件空间
的概念,这个表空间是一个抽象的概念,对应文件系统上一个或多个真实文件(不同表 空间对应的文件数量可能不同)。每一个
表空间
可以被划分为很多很多很多个
页 ,我们的表数据就存放在某 个
表空间
下的某些页里。
系统表空间(
system tablespace
)
系统表空间 可以对应文件系统上一个或多个实际的文件,默认情况下,
InnoDB
会在
数据目录 下创 建一个名为
ibdata1
大小为
12M
的文件,这个文件就是对应的 系统表空 间
在文件系统上的表示。
这个文件是所谓的 自扩展文件
,也就是当不够用的时候会自己增加文件大小。
想让系统表空间对应文件系统上多个实际文件,或觉得原来的 ibdata1 这个文件名难听,那 可以在
MySQL
启动时配置对应的文件路径以及它们的大小,这样修改配置文件:
[server]
innodb_data_file_path=data1:512M;data2:512M:autoextend
在 MySQL
启动之后就会创建这两个
512M
大小的文件作为
系统表空间
,其中的
autoextend 表明这两个文件 如果不够用会自动扩展
data2
文件的大小。
也可以把 系统表空间
对应的文件路径不配置到
数据目录 下,甚至可以配置到单独的磁盘分区上,涉及到的 启动参数就是
innodb_data_file_path
和 innodb_data_home_dir。在一个MySQL服务器中,系统表空间只有一份。从MySQL5.5.7到MySQL5.6.6之间的各个版本中,表中的数据都会被默认存储到这个 系统表空间。
独立表空间
(file-per-table tablespace)
在MySQL5.6.6
以及之后的版本中,
InnoDB 并不会默认的把各个表的数据存储到系统表空间中,而是为每一个表建立一个独立表空间,也就是说我们创建了多少个表,就有多少个独立表空间。使用
独立表空间 来存储表数据 的话,会在该表所属数据库对应的子目录下创建一个表示该
独立表空间 的文件,文件名和表名相同,只不过添 加了一个
.ibd
的扩展名而已,所以完整的文件名称长这样:
表名.ibd
ibd 文件就用来存储
test
表中的数据和索引。当然我们也可以自己指定使用
系统表空间
还是 独立表空间
来存储数据,这个功能由启动参数
innodb_file_per_table 控制,比如说我们想刻意将表数据都存储到 系统表空间
时,可以在启动
MySQL
服务器的时候这样配置:
[server]
innodb_file_per_table=0
当 innodb_file_per_table
的值为
0
时,代表使用系统表空间;当
innodb_file_per_table
的值为
1 时,代表使用独立表空间。不过
innodb_file_per_table 参数只对新建的表起作用,对于已经分配了表空间的表并不起作用。
把已经存在系统表空间中的表转移到独立表空间,可以使用下边的语法:
ALTER TABLE 表名 TABLESPACE [=] innodb_file_per_table;
或者把已经存在独立表空间的表转移到系统表空间,可以使用下边的语法:
ALTER TABLE 表名 TABLESPACE [=] innodb_system;
3.2.2 MyISAM
是如何存储表数据的
在 MyISAM
中的索引全部都是
二级索引 ,该存储引擎的数据和索引是分开存放的。所以在文件系统 中也是使用不同的文件来存储数据文件和索引文件。而且和
InnoDB
不同的是,
MyISAM
并没有什么 表空 间
,
表数据都存放到对应的数据库子目录下
。假如
test
表使用
MyISAM 存储引擎的话,那么在它所在数据 库对应的
xiaohaizi
目录下会为
test
表创建这三个文件:
test.frm
test.MYD
test.MYI
其中
test.MYD
代表表的数据文件,插入的用户记录;
test.MYI 代表表的索引文件,索引都会放到这个文件中。
3.3
视图在文件系统中的表示
MySQL 中的视图其实是虚拟的表,也就是某个查询语句的一个别名,所以在存储
视图 的时候是不 需要存储真实的数据的,
只需要把它的结构存储起来就行了
。和
表 一样,描述视图结构的文件也会被存储到所 属数据库对应的子目录下边,只会存储一个
视图名.frm
的文件。
3.4
其他的文件
数据目录 下还包括为了更好运行程序的一些额外文件,主要 包括这几种类型的文件:
服务器进程文件。
我们知道每运行一个 MySQL 服务器程序,都意味着启动一个进程。 MySQL
服务器会把自己的进程
ID写入到一 个文件中。
服务器日志文件。
在服务器运行过程中,会产生各种各样的日志,比如常规的查询日志、错误日志、二进制日志、redo日志吧
默认/自动生成的
SSL
和
RSA
证书和密钥文件。
主要是为了客户端和服务器安全通信而创建的一些文件。
四、文件系统对数据库的影响
数据库名称和表名称不得超过文件系统所允许的最大长度。
每个数据库都对应 数据目录 的一个子目录,数据库名称就是这个子目录的名称;每个表都会在数据库子目 录下产生一个和表名同名的
.frm
文件,如果是
InnoDB
的独立表空间或者使用
MyISAM 引擎还会有别的文件 的名称与表名一致。这些目录或文件名的长度都受限于文件系统所允许的长度~
特殊字符的问题
为了避免因为数据库名和表名出现某些特殊字符而造成文件系统不支持的情况, MySQL 会
把数据库名和表名 中所有除数字和拉丁字母以外的所有字符在文件名里都映射成
@+编码值
的形式作为文件名
。比方说我们创 建的表的名称为
'test?'
,由于
? 不属于数字或者拉丁字母,所以会被映射成编码值,所以这个表对应 的
.frm
文件的名称就变成了
test@003f.frm
。
文件长度受文件系统最大长度限制
对于 InnoDB 的独立表空间来说,每个表的数据都会被存储到一个与表名同名的
.ibd
文件中;对于 MyISAM 存储引擎来说,数据和索引会分别存放到与表同名的
.MYD
和
.MYI 文件中。这些文件会随着表中记录的增加 而增大,它们的大小受限于文件系统支持的最大文件大小。
五、MySQL系统数据库简介
mysql
存储了MySQL的用户账户和权限信息,一些存储过程、事件的定义信息,一些运行过 程中产生的日志信息,一些帮助信息以及时区信息等。
information_schema
这个数据库保存着MySQL服务器维护的所有其他数据库的信息,比如有哪些表、哪些视图、哪些触发器、哪 些列、哪些索引。这些信息并不是真实的用户数据,而是一些描述性信息,有时候也称之为元数据。
performance_schema
这个数据库里主要保存MySQL服务器运行过程中的一些状态信息,算是对
MySQL服务器的一个性能监控。 包括统计最近执行了哪些语句,在执行过程的每个阶段都花费了多长时间,内存的使用情况等等信息。
sys
这个数据库主要是通过视图的形式把 information_schema 和
performance_schema 结合起来,可以 更方便的了解
MySQL
服务器的一些性能信息。