InnoDB行记录格式

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Linux_ever/article/details/64124868

InnoDB存储引擎和大多数数据库一样,记录是以行的形式存储的。也就是说页中保存着表中一行行的数据。在InnoDB 1.0.x版本之前,InnoDB存储引擎
提供了Compact和Redundant两种格式来存放行记录数据。
Redundant格式是为了兼容之前版本而保留的,如果阅读过InnoDB的源代码,用户会发现源代码中是用PHYSICAL RECORD(NEW STYLE)和PHYSICAL RECORD(OLD STYLE)来区分两种格式。
在MySql 5.1版本中,默认设置为Compact行格式。用户可以通过下面命令查看表使用的行格式,其中row_format属性表示当前所使用的行记录结构类型。

mysql> show table status like 'test'\G
*************************** 1. row ***************************
           Name: test
         Engine: InnoDB
        Version: 10
     Row_format: Compact
           Rows: 1
 Avg_row_length: 16384
    Data_length: 16384
Max_data_length: 0
   Index_length: 0
      Data_free: 5242880
 Auto_increment: NULL
    Create_time: 2016-07-20 16:13:43
    Update_time: NULL
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options: 
        Comment: 
1 row in set (0.00 sec)

可以看到test表是Compact的行格式。数据库实例的作用之一就是读取页中存放的行记录。如果用户自己知道页中行记录的组织规则,也可以自行通过编写工具的方式来读取其中的记录。

1、Compact行记录格式

Compact行记录是在MySql 5.0中引入的,其设计目标是高效地存储数据。简单来说,一个页中存放的行数据越多,其性能就越高。下面是Compact行记录的存储方式:

这里写图片描述

Compact行记录格式的首部是一个非NULL变长字段长度列表,并且其是按照列的顺序逆序放置的,其长度是:
(1)若列的长度小于255字节,用1字节表示;
(2)若大于255个字节,用2字节表示;

变长字段的长度最大不可以超过2字节,这是因为在MySql数据中varchar类型的最大长度限制为65535。
变长字段之后的第二部分是NULL标志位,该位指示了该行数据中是否有NULL值,有则用1表示。该部分所占的字节应该为1字节。
接下来的部分是记录头信息(record header),固定占用5字节(40位),每位的含义如下图所示:
这里写图片描述

最后的部分是实际存储每个列的数据。NULL不占该部分任何空间,即NULL除了占有NULL标志位,实际存储不占有任何空间。
另外,每行数据除了用户定义的列外,还有两个隐藏列,事务ID列和回滚指针列,分别为6字节和7字节的大小。若InnoDB表没有定义主键,每行还会增加一个6字节的rowid列。

接下来用一个具体示例来分析Compact行记录的内部结构:

mysql> create table mytest(
    -> t1 varchar(10),
    -> t2 varchar(10),
    -> t3 char(10),
    -> t4 varchar(10)
    -> )engine=innodb charset=latin1 row_format=compact;
Query OK, 0 rows affected (0.09 sec)

下面插入数据:

mysql> insert into mytest values('a','bb','bb','ccc'); 
Query OK, 1 row affected (0.02 sec)

mysql> insert into mytest values('d', 'ee', 'ee', 'fff');
Query OK, 1 row affected (0.01 sec)

mysql> insert into mytest values('d', NULL, NULL, 'fff');
Query OK, 1 row affected (0.01 sec)

查询表中的数据:

mysql> select * from mytest\G
*************************** 1. row ***************************
t1: a
t2: bb
t3: bb
t4: ccc
*************************** 2. row ***************************
t1: d
t2: ee
t3: ee
t4: fff
*************************** 3. row ***************************
t1: d
t2: NULL
t3: NULL
t4: fff
3 rows in set (0.00 sec)

如果启用了参数innodb_file_per_table,则打开表空间文件mytest.ibd。否则,打开默认的共享表空间文件ibdata1,本文中没有启用参数innodb_file_per_table,所有打开文件ibdata1.

在Linux下,首先找到ibdata1文件的位置。

root@TryHard:~# find / -name ibdata1;
/var/lib/mysql/ibdata1

然后,将二进制文件ibdata1重定向为mytest.txt文件,然后打开mytest.txt文件。

root@TryHard:~# hexdump -C -v /var/lib/mysql/ibdata1 > mytest.txt

找到如下图所示的内容:
这里写图片描述

下面是对第一行内容进行分析:
03 02 01 是变长字段长度列表,t1,t2,t3字段是变长字段,逆序显示这三个字段的长度。插入的数据中t3的值为3个字节,t2的值为2个字节,t1的值为1个字节。
00 是NULL标志位,为0表示第一行没有NULL值。
00 00 10 00 2c 是Record Header,固定5字节长度。
00 00 00 00 09 00 是InnoDB自动创建的rowID,6字节长度。
两个隐藏列,事务ID列和回滚指针列,分别为6字节和7字节的大小。
00 00 00 00 1e 09 是事务ID列,6字节长度。
8a 00 00 01 3d 01 10 是回滚指针列,7字节长度。
61是t1列的数据’a’;
62 62是t2列的数据’bb’;
62 62 20 20 20 20 20 20 20 是t3列的数据’bb’,t2是固定长度char字段,如果未用完其占用的长度空间时,会用0x20来进行填充。
63 63 63是t4列的数据’ccc’;

Record Header的值是00 00 10 00 2c,最后两个字节是00 2c,这两个字节代表next_recorder,0x2c代表下一个记录的偏移量,即当前记录的位置加上偏移量0x2c就是下一条记录的起始位置。所以InnoDB存储引擎在页内部是通过一种链表的结构来串连各个行记录的。

第二行和第一行类似 。
下面是第三行的内容:
03 01 变长字段长度列表,逆序;t1长度为1,t4长度为3,t2和t3为NULL。
06 NULL标志位,第三行有NULL值。
00 00 20 ff 98 是Record Header;
00 00 00 00 09 02是RowId,6个字节;
00 00 00 00 1e 0b是事务ID列,6个字节;
8c 00 00 02 1d 01 10是回滚指针列,7个字节。
64是t1字段的值’d’;
66 66 66是t4字段的值’f’;

第三行有NULL值,因为NULL标志位不再是00而是06,转换成二进制00000110,为1的值表示第2列和第3列的数据为NULL。其后存储列数据的部分,没有存储NULL列,而只存储了第1列和第4列的非NULL的值,这也说明了,不管是char还是varchar类型,在compact格式下NULL值都不占用任何存储空间

2、Redundant行记录格式

Redundant是MySql 5.0版本之前InnoDB的行记录存储方式,MySql 5.0支持Redundant是为了兼容之前版本的页格式。Redundant行记录采用下图所示的方式存储。
这里写图片描述

Redundant行记录格式的首部是一个字段长度偏移列表,同样是安装列的顺序逆序存放的。若列的长度小于255字节,用1字节表示;若大于255字节,用2字节表示。第二个部分为记录头信息(record header),不同于Compact行记录格式,Redundant行记录格式的记录头占用6字节,每位的含义如下图所示:
这里写图片描述

其中,n_fields的值代表一行中列的数量,占用10位,所以能表示的最大值为1023,这也解释了为什么MySql数据库一行支持的最多的列数量为1023。另一个需要注意的值为1byte_offs_flag,该值定义了偏移列表占用1字节还是2字节。
最后部分就是实际存储的每个列的数据了。

创建一个Redundant表mytest2:

mysql> create table mytest2  engine=innodb row_format=redundant  as select * from mytest;
Query OK, 3 rows affected (0.04 sec)
Records: 3  Duplicates: 0  Warnings: 0

查看表mytest2信息:

mysql> show table status like 'mytest2'\G
*************************** 1. row ***************************
           Name: mytest2
         Engine: InnoDB
        Version: 10
     Row_format: Redundant
           Rows: 3
 Avg_row_length: 5461
    Data_length: 16384
Max_data_length: 0
   Index_length: 0
      Data_free: 5242880
 Auto_increment: NULL
    Create_time: 2017-03-20 15:46:57
    Update_time: NULL
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options: row_format=REDUNDANT
        Comment: 
1 row in set (0.00 sec)

查看数据:

mysql> select * from mytest2\G                       
*************************** 1. row ***************************
t1: a
t2: bb
t3: bb
t4: ccc
*************************** 2. row ***************************
t1: d
t2: ee
t3: ee
t4: fff
*************************** 3. row ***************************
t1: d
t2: NULL
t3: NULL
t4: fff
3 rows in set (0.00 sec)

将二进制文件ibdata1重定向为mytest.txt文件,然后打开mytest.txt文件。

root@TryHard:~# hexdump -C -v /var/lib/mysql/ibdata1 > mytest.txt

这里写图片描述

第一行数据:

23 20 16 14 13 0c 06 是长度偏移列表,逆序。
00 00 10 0f 00 ba 是Record Header,固定6个字节;
00 00 00 00 09 0c 是rowId列,6个字节。
00 00 00 00 1e 1b 是事务ID列,6个字节。
9a 00 00 01 4b 01 10 是回滚指针列,7个字节。

61 是t1列数据’a’;
62 62是t2列数据’bb’;
62 62 20 20 20 20 20 20 20 20 是t3列数据’bb’, char类型;
63 63 63是t4列数据’ccc’;
23 20 16 14 13 0c 06 逆序为06,0c,13,14,16,20,23,分别代表第一列长度为6,第二列长度为6(6+6 = 0x0c),第三列长度为7(6+6+7=0x13),第四列长度为1(6+6+7+1=0x14),第五列长度为2(6+6+7+1+2=0x16),第六列长度为10(6+6+7+1+2+10=0x20),第七列长度为3(6+6+7+1+2+10+3=0x23).

第1列指的是rowID列,第2列指的是事务ID列,第3列指的是回滚指针列,第4列指的是t1,……
在接下来的记录头信息(record Header)中应该注意到48位中的第22-32位,为0000000111,表示表共有7个列(包含了隐藏的3列),接下来的第33位为1,大表偏移列表为一个字节。

后面的信息就是实际存放的数据。

第三行数据:

21 9e 94 14 13 0c 06 长度偏移列表,逆序;
00 00 20 0f 00 74 是Record Header,固定长度为6字节;
00 00 00 00 09 0e是RowId列;
00 00 00 00 1e 1b 是事务id,6个字节;
9a 00 00 01 4b 01 2e 是回滚指针列,7 个字节;
64是列t1的数据’d’;
t2类型是varchar,并且值为NULL,所以t2的值不占用存储空间。
00 00 00 00 00 00 00 00 00 00 是t3的数据NULL,t3是char类型;
66 66 66是列t4的数据’fff’;

长度偏移列表逆序之后得到 06, 0c, 13, 14, 94, 9e, 21,前4个值都好理解。
第5个NULL值变为了94(该列是t2字段),第6个char类型的NULL值为9e(94+10=0x9e)(该列是t3的字段),之后的21大表(14+3 = 0x21)。可以看出对于varchar类型的NULL值,Redundant行记录格式同样不占用任何存储空间,而char类型的NULL值需要占用空间。

当前表mytest2的字符集为Latin1,每个字符最多只占用1个字节。若用户将表mytest2的字符集转换为utf8,第三列char固定长度类型不再是只占用10字节了,而是10*3 = 30字节。

没有更多推荐了,返回首页