海山数据库(He3DB)源码详解：海山MySQL redo日志（1）

# 一、redo日志介绍

• 目标： 让已经提交了的事务对数据库中数据所做的修改永久生效，即使后来系统崩溃，在重启后也能把这种修改恢复出来

• 解决办法： 把修改了的内容记录下来即可

• 什么是redo日志： redo日志即重做日志，记录了事务对数据库做了哪些修改。当发生数据库服务器宕机、或者脏页未写入磁盘，可以通过redo日志恢复。

• redo日志的优点： 1、redo日志占用的空间很小；2、redo日志是顺序写入磁盘的，即顺序IO。

二、redo日志格式

各个部分的详细释义如下：

• type： 该条redo日志的类型。在MySQL 5.7.21这个版本中，redo日志一共有53种不同的类型。
• Space ID： 表空间ID。
• Page number： 页号。
• data： 该条redo日志的具体内容。
  *注： type定义在源码/storage/innobase/include/mtr0type.h/mlog_id_t中。

1、简单日志类型

有时候，一个条语句所做的修改比较少，可以用将x表空间的y页面的偏移量为z的值更新为n这种很轻松的记录下来，InnoDB把这种极其简单的redo日志称之为物理日志。根据在页面中写入数据的多少划分了⼏种不同的redo日志类型：

日志类型（编号）	说明
MLOG_1BYTE（1）	表示在页面的某个偏移量处写入1个字节的redo日志类型
MLOG_2BYTE（2）	表示在页面的某个偏移量处写入2个字节的redo日志类型
MLOG_4BYTE（4）	表示在页面的某个偏移量处写入4个字节的redo日志类型
MLOG_8BYTE（8）	表示在页面的某个偏移量处写入8个字节的redo日志类型
MLOG_WRITE_STRING（30）	表示在页面的某个偏移量处写入一串数据。

MLOG_8BYTE的redo日志结构如下所示：

其余MLOG_1BYTE、MLOG_2BYTE、MLOG_4BYTE类型的redo日志结构和MLOG_8BYTE的类似，只不过具体数据中包含对应个字节的数据罢了。

MLOG_WRITE_STRING类型的redo日志表示写入一串数据，但是因为不能确定写入的具体数据占用多少字节，所以需要在日志结构中添加一个len字段：

2、复杂日志类型

复杂类型的redo日志既包含物理层面的意思，也包含逻辑层面的意思，具体指：

• 物理层面看，这些日志都指明了对哪个表空间的哪个页进行了修改。
• 逻辑层面看，在系统奔溃重启时，并不能直接根据这些日志里的记载，将页面内的某个偏移量处恢复成某个数据，而是需要调用一些事先准备好的函数，执行完这些函数后才可以将页面恢复成系统奔溃前的样子。

接下来，以MLOG_COMP_REC_INSERT类型为例插入一条使用紧凑行格式的记录时的redo日志来理解一下上述的物理层面和逻辑层面的意思。

该类型的redo日志结构有几个地方需要注意：

n_uniques：该值的含义是在一条记录中，需要几个字段的值才能确保记录的唯一性，这样当插入一条记录时就可以按照记录的前n_uniques个字段进行排序。对于聚簇索引来说，n_uniques的值为主键的列数，对于其他二级索引来说，该值为索引列数+主键列数。

field1_len ~ fieldn_len：代表着该记录若干个字段占用存储空间的大小。

offset：代表的该记录的前一条记录在页面中的地址。每向数据页插入一条记录，都需要修改该页面中维护的记录链表，每条记录的记录头信息中都包含一个称为next_record的属性，所以在插入新记录时，需要修改前一条记录的next_record属性。

end_seg_len：通过该值可以间接的计算出一条记录占用存储空间的总大小，用于节省redo日志存储空间。

很显然这个类型为MLOG_COMP_REC_INSERT的redo日志并没有记录页面统计信息的值修改为了啥等等信息，只是把在本页面中插入一条记录所有必备的要素记了下来，之后系统奔溃重启时，服务器会调用相关向某个页面插入一条记录的那个函数，而redo日志中的那些数据就可以被当成是调用这个函数所需的参数，在调用完该函数后，页面中的统计信息也就都被恢复到系统奔溃前的样子了。这就是所谓的逻辑日志的意思。

三、复杂日志写入过程

以MLOG_COMP_REC_INSERT类型为例

• 1、首先调用log_ptr = mlog_open_and_write_index函数打开redo日志并写入头部信息。

log_ptr = mlog_open_and_write_index(mtr, insert_rec, index,
                                          MLOG_COMP_REC_INSERT,
                                          2 + 5 + 1 + 5 + 5 + MLOG_BUF_MARGIN);

• 对函数 mlog_open_and_write_index 展开详解
  • (1) 调用mlog_open(mtr,alloc)函数打开mlog

  log_start = log_ptr = mlog_open(mtr, alloc);
  

  • (2) 调用mlog_write_initial_log_record_fast设置type、space id、page number共前11个字节

  log_ptr = mlog_write_initial_log_record_fast(rec, type, log_ptr, mtr);
  

  • (3) 设置redo log的列的数量和主键列的数量

     if (page_is_leaf(page_align(rec))) {
    mach_write_to_2(log_ptr, dict_index_get_n_unique_in_tree(index));
  } else {
    mach_write_to_2(log_ptr, dict_index_get_n_unique_in_tree_nonleaf(index));
  }
  

  • (4) 循环访问每个列，在redo log设置每个列的长度

  if (len == 0 && (DATA_BIG_COL(col))) {
      /* variable-length field
      with maximum length > 255 */
      len = 0x7fff;
    }
    if (col->prtype & DATA_NOT_NULL) {
      len |= 0x8000;
    }
  

• 2、调用mach_write_to_2(log_ptr, page_offset(cursor_rec))写入前一条记录的地址

mach_write_to_2(log_ptr, page_offset(cursor_rec));

• 3、以压缩的方式写入end_seg_len，最大为5字节

log_ptr += mach_write_compressed(log_ptr, 2 * (rec_size - i) + 1);

• 4、写入info bits

mach_write_to_1(log_ptr, rec_get_info_and_status_bits(
                                 insert_rec, page_rec_is_comp(insert_rec)));

• 5、以压缩的方式写入额外信息长度和mismatch index

log_ptr += mach_write_compressed(log_ptr, i);