MySQL中的数据目录(简介-数据的家)

目录

 

1 数据库和文件系统的关系

2 MySQL数据目录

2.1 数据目录和安装目录的区别

2.2 如何确定MySQL中的数据目录

3 数据目录的结构

3.1 数据库在文件系统中的表示

3.2 表在文件系统中的表示

3.2.1 InnoDB是如何存储表数据的

3.2.2 MyISAM是如何存储表数据的

3.3 视图在文件系统中的表示

3.4 其他的文件

4 文件系统对数据库的影响

5 MySQL系统数据库简介

6 参考书籍


 

1 数据库和文件系统的关系

我们知道像 InnoDB 、 MyISAM 这样的存储引擎都是把表存储在磁盘上的,而操作系统用来管理磁盘的那个东东又被称为文件系统 ,所以用专业一点的话来表述就是:像InnoDB 、 MyISAM这样的存储引擎都是把表存储在文件系统上的。当我们想读取数据的时候,这些存储引擎会从文件系统中把数据读出来返回给我们,当我们想写入数据的时候,这些存储引擎会把这些数据又写回文件系统。本章就是要唠叨一下 InnoDB 和 MyISAM 这两个存储引 擎的数据如何在文件系统中存储的。

2 MySQL数据目录

MySQL服务器程序在启动时会到文件系统的某个目录下加载一些文件,之后在运行过程中产生的数据也都会存储到这个目录下的某些文件中,这个目录就称为数据目录 ,我们下边就要详细唠唠这个目录下具体都有哪些重要的东西。 

2.1 数据目录和安装目录的区别

我们之前只接触过 MySQL 的安装目录(在安装 MySQL 的时候我们可以自己指定),我们重点强调过这个 安装目录 下非常重要的 bin 目录,它里边存储了许多关于控制客户端程序和服务器程序的命令(许多可执行文件,比 如 mysql , mysqld , mysqld_safe 等等等等好几十个)。而数据目录是用来存储 MySQL 在运行过程中产生的 数据,一定要和本章要讨论的安装目录区别开!一定要区分开!一定要区分开!一定要区分开! 

2.2 如何确定MySQL中的数据目录

到底 MySQL 把数据都存到哪个路径下呢?其实 数据目录 对应着一个系统变量 datadir ,我们在使 用客户端与服务器建立连接之后查看这个系统变量的值就可以了:

mysql> SHOW VARIABLES LIKE 'datadir'; 
+---------------+-----------------------+ 
| Variable_name | Value | 
+---------------+-----------------------+ 
| datadir | /usr/local/var/mysql/ | 
+---------------+-----------------------+ 
1 row in set (0.00 sec)

 从结果中可以看出,在我的计算机上 MySQL 的数据目录就是 /usr/local/var/mysql/ ,你用你的计算机试试呗~

3 数据目录的结构

MySQL 在运行过程中都会产生哪些数据呢?当然会包含我们创建的数据库、表、视图和触发器吧啦吧啦的用户数据,除了这些用户数据,为了程序更好的运行, MySQL 也会创建一些其他的额外数据,我们接下来细细的品味一下这个 数据目录 下的内容。

3.1 数据库在文件系统中的表示

每当我们使用 CREATE DATABASE 数据库名 语句创建一个数据库的时候,在文件系统上实际发生了什么呢?其实很简单,每个数据库都对应数据目录下的一个子目录,或者说对应一个文件夹,我们每当我们新建一个数据库时, MySQL 会帮我们做这两件事:

1. 在 数据目录 下创建一个和数据库名同名的子目录(或者说是文件夹)。

2. 在该与数据库名同名的子目录下创建一个名为 db.opt 的文件,这个文件中包含了该数据库的各种属性,比方说该数据库的字符集和比较规则是个啥。

比方说我们查看一下在我的计算机上当前有哪些数据库:

mysql> SHOW DATABASES; 
+--------------------+ 
| Database | 
+--------------------+ 
| information_schema | 
| charset_demo_db | 
| dahaizi | 
| mysql | 
| performance_schema | 
| sys | 
| xiaohaizi | 
+--------------------+ 
7 rows in set (0.00 sec)

可以看到在我的计算机上当前有7个数据库,其中 charset_demo_db 、 dahaizi 和 xiaohaizi 数据库是我们自定义的,其余4个数据库是属于MySQL自带的系统数据库。我们再看一下我的计算机上的 数据目录 下的内容:

├── auto.cnf 
├── ca-key.pem 
├── ca.pem 
├── charset_demo_db 
├── client-cert.pem 
├── client-key.pem 
├── dahaizi 
├── ib_buffer_pool 
├── ib_logfile0 
├── ib_logfile1 
├── ibdata1 
├── ibtmp1 
├── mysql 
├── performance_schema 
├── private_key.pem 
├── public_key.pem 
├── server-cert.pem 
├── server-key.pem 
├── sys 
├── xiaohaizideMacBook-Pro.local.err 
├── xiaohaizideMacBook-Pro.local.pid 
└── xiaohaizi 
6 directories, 16 files

当然这个数据目录下的文件和子目录比较多哈,但是如果仔细看的话,除了 information_schema 这个系统数据库外,其他的数据库在数据目录下都有对应的子目录。这个 information_schema 比较特殊,设计MySQL的大叔们对它的实现进行了特殊对待,没有使用相应的数据库目录,我们忽略它的存在就好了哈。

3.2 表在文件系统中的表示

我们的数据其实都是以记录的形式插入到表中的,每个表的信息其实可以分为两种:

1. 表结构的定义

2. 表中的数据

表结构就是该表的名称是啥,表里边有多少列,每个列的数据类型是啥,有啥约束条件和索引,用的是啥字符集和比较规则吧啦吧啦的各种信息,这些信息都体现在了我们的建表语句中了。为了保存这些信息, InnoDB 和 MyISAM 这两种存储引擎都在 数据目录 下对应的数据库子目录下创建了一个专门用于描述表结构的文件,文件名是这样:

表名.frm

比方说我们在 dahaizi 数据库下创建一个名为 test 的表:

mysql> USE dahaizi; 
Database changed 
mysql> CREATE TABLE test ( 
 -> c1 INT 
 -> ); 
Query OK, 0 rows affected (0.03 sec)

那在数据库 dahaizi 对应的子目录下就会创建一个名为 test.frm 的用于描述表结构的文件。值得注意的是,这个后缀名为.frm是以二进制格式存储的,我们直接打开会是乱码的~ 你还不赶紧在你的计算机上创建个表试试~

描述表结构的文件我们知道怎么存储了,那表中的数据存到什么文件中了呢?在这个问题上,不同的存储引擎就产生了分歧了,下边我们分别看一下 InnoDB 和 MyISAM 是用什么文件来保存表中数据的。

3.2.1 InnoDB是如何存储表数据的

我们前边重点唠叨过 InnoDB 的一些实现原理,到现在为止我们应该熟悉下边这些东东:

  • InnoDB 其实是使用 为基本单位来管理存储空间的,默认的页大小为 16KB 。
  • 对于 InnoDB 存储引擎来说,每个索引都对应着一棵 B+ 树,该 B+ 树的每个节点都是一个数据页,数据页之间不必要是物理连续的,因为数据页之间有双向链表来维护着这些页的顺序。
  • InnoDB 的聚簇索引的叶子节点存储了完整的用户记录,也就是所谓的索引即数据,数据即索引。 

为了更好的管理这些页,设计 InnoDB 的大叔们提出了一个 表空间 或者 文件空间 (英文名: table space 或 者 file space )的概念,这个表空间是一个抽象的概念,它可以对应文件系统上一个或多个真实文件(不同表 空间对应的文件数量可能不同)。每一个 表空间可以被划分为很多很多很多个页 ,我们的表数据就存放在某个表空间下的某些页里。设计 InnoDB 的大叔将表空间划分为几种不同的类型,我们一个一个看一下

系统表空间(system tablespace)

这个所谓的系统表空间 可以对应文件系统上一个或多个实际的文件,默认情况下, InnoDB 会在 数据目录 下创 建一个名为 ibdata1 (在你的数据目录下找找看有木有)、大小为 12M 的文件,这个文件就是对应的系统表空间在文件系统上的表示。怎么才 12M ?这么点儿还没插多少数据就用完了,哈哈,那是因为这个文件是所谓的 自扩展文件 ,也就是当不够用的时候它会自己增加文件大小~

当然,如果你想让系统表空间对应文件系统上多个实际文件,或者仅仅觉得原来的 ibdata1 这个文件名难听,那 可以在 MySQL 启动时配置对应的文件路径以及它们的大小,比如我们这样修改一下配置文件:

[server] 
innodb_data_file_path=data1:512M;data2:512M:autoextend

这样在 MySQL 启动之后就会创建这两个512M大小的文件作为系统表空间 ,其中的 autoextend 表明这两个文件如果不够用会自动扩展 data2 文件的大小。

我们也可以把系统表空间对应的文件路径不配置到数据目录下,甚至可以配置到单独的磁盘分区上,涉及到的启动参数就是 innodb_data_file_path 和 innodb_data_home_dir ,具体的配置逻辑挺绕的,我们这就不多唠叨了,知道改哪个参数可以修改系统表空间对应的文件,有需要的时候到官方文档里一查就好了。

需要注意的一点是,在一个MySQL服务器中,系统表空间只有一份。从MySQL5.5.7到MySQL5.6.6之间的各个版本中,我们表中的数据都会被默认存储到这个系统表空间

独立表空间(file-per-table tablespace)

在MySQL5.6.6以及之后的版本中, InnoDB 并不会默认的把各个表的数据存储到系统表空间中,而是为每一个表建立一个独立表空间,也就是说我们创建了多少个表,就有多少个独立表空间。使用独立表空间来存储表数据的话,会在该表所属数据库对应的子目录下创建一个表示该独立表空间的文件,文件名和表名相同,只不过添加了一个 .ibd 的扩展名而已,所以完整的文件名称长这样:

表名.ibd

比方说假如我们使用了独立表空间去存储 xiaohaizi 数据库下的 test 表的话,那么在该表所在数据库对应的 xiaohaizi 目录下会为 test 表创建这两个文件:

test.frm 
test.ibd

其中 test.ibd 文件就用来存储 test 表中的数据和索引。当然我们也可以自己指定使用系统表空间 还是独立表空间来存储数据,这个功能由启动参数 innodb_file_per_table 控制,比如说我们想刻意将表数据都存储到系统表空间 时,可以在启动 MySQL 服务器的时候这样配置:

[server] 
innodb_file_per_table=0

当 innodb_file_per_table 的值为 0 时,代表使用系统表空间;当 innodb_file_per_table 的值为 1 时,代表使用独立表空间。不过 innodb_file_per_table 参数只对新建的表起作用,对于已经分配了表空间的表并不起作用。如果我们想把已经存在系统表空间中的表转移到独立表空间,可以使用下边的语法:

ALTER TABLE 表名 TABLESPACE [=] innodb_file_per_table;

或者把已经存在独立表空间的表转移到系统表空间,可以使用下边的语法:

ALTER TABLE 表名 TABLESPACE [=] innodb_system;

其中中括号扩起来的 = 可有可无,比方说我们想把 test 表从独立表空间移动到系统表空间,可以这么写:

ALTER TABLE test TABLESPACE innodb_system;

其他类型的表空间

随着MySQL的发展,除了上述两种老牌表空间之外,现在还新提出了一些不同类型的表空间,比如通用表空间 (general tablespace)、undo表空间(undo tablespace)、临时表空间(temporary tablespace)吧啦吧啦 的,具体情况我们就不细唠叨了,等用到的时候再提。

3.2.2 MyISAM是如何存储表数据的

好了,唠叨完了 InnoDB 的系统表空间和独立表空间,现在轮到 MyISAM 了。我们知道不像 InnoDB 的索引和数据是一个东东,在 MyISAM 中的索引全部都是二级索引 ,该存储引擎的数据和索引是分开存放的。所以在文件系统中也是使用不同的文件来存储数据文件和索引文件。而且和 InnoDB 不同的是, MyISAM 并没有什么所谓的表空间 一说,表数据都存放到对应的数据库子目录下。假如 test 表使用 MyISAM 存储引擎的话,那么在它所在数据库对应的 xiaohaizi 目录下会为 test 表创建这三个文件:

test.frm 
test.MYD 
test.MYI

其中 test.MYD 代表 表的数据文件,也就是我们插入的用户记录; test.MYI 代表 表的索引文件,我们为该表创建的索引都会放到这个文件中。

3.3 视图在文件系统中的表示

我们知道 MySQL 中的视图其实是虚拟的表,也就是某个查询语句的一个别名而已,所以在存储 视图的时候是不需要存储真实的数据的,只需要把它的结构存储起来就行了。和表一样,描述视图结构的文件也会被存储到所属数据库对应的子目录下边,只会存储一个 视图名.frm 的文件

3.4 其他的文件

除了我们上边说的这些用户自己存储的数据以外, 数据目录下还包括为了更好运行程序的一些额外文件,主要包括这几种类型的文件:

  • 服务器进程文件

我们知道每运行一个 MySQL 服务器程序,都意味着启动一个进程。 MySQL 服务器会把自己的进程ID写入到一个文件中。

  • 服务器日志文件

在服务器运行过程中,会产生各种各样的日志,比如常规的查询日志、错误日志、二进制日志、redo日志吧啦吧啦各种日志,这些日志各有各的用途,我们之后会重点唠叨各种日志的用途,现在先了解一下就可以了。

  • 默认/自动生成的SSL和RSA证书和密钥文件

主要是为了客户端和服务器安全通信而创建的一些文件, 大家看不懂可以忽略~

4 文件系统对数据库的影响

因为 MySQL 的数据都是存在文件系统中的,就不得不受到文件系统的一些制约,这在数据库和表的命名、表的大小和性能方面体现的比较明显,比如下边这些方面:

  • 数据库名称和表名称不得超过文件系统所允许的最大长度

每个数据库都对应数据目录的一个子目录,数据库名称就是这个子目录的名称;每个表都会在数据库子目录下产生一个和表名同名的 .frm 文件,如果是 InnoDB 的独立表空间或者使用 MyISAM 引擎还会有别的文件的名称与表名一致。这些目录或文件名的长度都受限于文件系统所允许的长度~

  • 特殊字符的问题

为了避免因为数据库名和表名出现某些特殊字符而造成文件系统不支持的情况, MySQL 会把数据库名和表名中所有除数字和拉丁字母以外的所有字符在文件名里都映射成 @+编码值的形式作为文件名。比方说我们创建的表的名称为 'test?' ,由于 ? 不属于数字或者拉丁字母,所以会被映射成编码值,所以这个表对应的 .frm 文件的名称就变成了 test@003f.frm 。 

  • 文件长度受文件系统最大长度限制

对于 InnoDB 的独立表空间来说,每个表的数据都会被存储到一个与表名同名的 .ibd 文件中;对于 MyISAM 存储引擎来说,数据和索引会分别存放到与表同名的 .MYD 和 .MYI 文件中。这些文件会随着表中记录的增加而增大,它们的大小受限于文件系统支持的最大文件大小

5 MySQL系统数据库简介

我们前边提到了MySQL的几个系统数据库,这几个数据库包含了MySQL服务器运行过程中所需的一些信息以及一些运行状态信息,我们现在稍微了解一下

  • mysql

这个数据库贼核心,它存储了MySQL的用户账户和权限信息,一些存储过程、事件的定义信息,一些运行过程中产生的日志信息,一些帮助信息以及时区信息等

  • information_schema

这个数据库保存着MySQL服务器维护的所有其他数据库的信息,比如有哪些表、哪些视图、哪些触发器、哪些列、哪些索引吧啦吧啦。这些信息并不是真实的用户数据,而是一些描述性信息,有时候也称之为元数据

  • performance_schema

这个数据库里主要保存MySQL服务器运行过程中的一些状态信息,算是对MySQL服务器的一个性能监控。 包括统计最近执行了哪些语句,在执行过程的每个阶段都花费了多长时间,内存的使用情况等等信息

  • sys

这个数据库主要是通过视图的形式把 information_schema 和 performance_schema 结合起来,让程序员可以 更方便的了解MySQL服务器的一些性能信息

啥?这四个系统数据库这就介绍完了?是的,我们的标题写的就是简介嘛!如果真的要唠叨一下这几个系统库的使用,那怕是又要写一本书了... 这里只是因为介绍数据目录里遇到了,为了内容的完整性跟大家提一下,具体如何使用还是要参照文档~

6 参考书籍

《MySQL是怎样运行的:从根儿上理解MySQL》小孩子4919 著

这本书写得非常好,推荐面试的小伙伴有时间可以去了解一下,对理解MySQL的帮助很大

  • 12
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: MySQL数据迁移是将数据库数据从一个服务器迁移到另一个服务器,其一种方法是通过替换data目录来实现。以下是关于data目录直接替换的注意事项的详解: 1. 备份原始的data目录:在进行任何替换之前,务必备份MySQL的原始data目录。这是非常重要的,因为如果出现意外情况,例如数据丢失或错误,可以通过还原备份来恢复系统。 2. 确保版本兼容性:在进行data目录替换之前,必须确保目标服务器上的MySQL版本与源服务器上的MySQL版本兼容。如果版本不兼容,可能会导致数据不兼容或无法读取的问题。 3. 停止MySQL服务:在替换data目录之前,必须停止MySQL服务。这可以通过运行适当的命令或使用服务管理工具来完成。确保所有与MySQL相关的进程都已停止。 4. 替换data目录:将已备份的data目录替换为目标服务器上的data目录。确保替换的目录结构和文件名与原始目录完全一致。不要删除或重命名原始data目录,以防需要还原。 5. 更改文件权限和所有者:在替换data目录后,可能需要更改文件的权限和所有者以确保MySQL可以正常读取和写入数据。根据操作系统的不同,可以使用chmod和chown命令来更改文件权限和所有者。 6. 启动MySQL服务:完成文件替换和权限更改后,可以启动MySQL服务。确保服务启动时没有任何错误或警告。可以查看MySQL的日志文件来检查是否有任何问题。 7. 测试数据可读性和一致性:在迁移完成后,务必进行一些基本的数据测试,以确保目标服务器上的MySQL可以正常读取和写入数据,且数据与源服务器上的一致。 总之,data目录直接替换是一种快速迁移MySQL数据的方法,但在进行替换之前,务必备份原始数据、确保版本兼容性、停止MySQL服务、替换data目录、更改文件权限和所有者、启动MySQL服务,并测试数据可读性和一致性,以确保迁移过程的顺利和数据的完整性。 ### 回答2: MySQL数据迁移,直接替换data目录是一种常见的迁移方法。但是在进行这种迁移时需要注意以下几点。 首先,备份数据是非常重要的。在进行data目录的替换之前,务必要进行完整的数据备份。这个备份可以是物理备份,也可以是逻辑备份。物理备份是把整个data目录进行复制,适用于不同版本MySQL之间的迁移。逻辑备份则是使用导出工具如mysqldump导出数据库的结构和数据,适用于同一版本MySQL之间的迁移。备份数据可以避免数据丢失的风险,同时也可以用来恢复数据。 其次,确保源数据库和目标数据库版本兼容。如果源数据库和目标数据库的版本不一致,可能会导致数据迁移失败。在进行data目录替换之前,需要确认源数据库和目标数据库的版本兼容性,并做好相应的兼容性处理。如果版本不兼容,可能需要先升级或降级数据库版本,再进行迁移。 另外,需要关闭源数据库和目标数据库的服务。在替换data目录之前,需要停止源数据库和目标数据库的服务,以避免数据冲突和文件锁定的问题。可以通过命令行或者图形界面来停止数据库服务,等替换完data目录后再启动数据库服务。 最后,需要进行测试和验证。在完成data目录替换后,需要对目标数据库进行测试和验证,确保数据迁移成功。可以通过连接数据库,查看表结构和数据是否正确,运行一些查询语句来验证数据的完整性和正确性。如果发现问题,及时进行修复和调整。 综上所述,直接替换data目录是一种高效的MySQL数据迁移方法,但在实施过程需要注意进行数据备份,确认版本兼容性,关闭数据库服务以及进行测试和验证。这些注意事项可以确保数据迁移的顺利进行,并避免数据丢失和错误。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值