MySQL中的ibd2sdi—InnoDB表空间SDI提取实用程序

ibd2sdi 是一个用于从 InnoDB 表空间文件中提取序列化字典信息（Serialized Dictionary Information, SDI）的实用程序。这个实用程序可以用于提取存储在持久化 InnoDB 表空间文件中的 SDI 数据。

可以对以下类型的表空间文件使用 ibd2sdi：

• 每个表一个文件（file-per-table tablespace files）的 .ibd 文件
• 通用表空间文件（general tablespace files）的 .ibd 文件
• 系统表空间文件（system tablespace files）的 ibdata* 文件
• 数据字典表空间（data dictionary tablespace）的 mysql.ibd 文件

但是，它不支持用于临时表空间（temporary tablespaces）或撤销表空间（undo tablespaces）。

ibd2sdi 可以在运行时或服务器离线时使用。在 DDL 操作、ROLLBACK 操作以及与 SDI 相关的撤销日志清除操作期间，可能会存在一个短暂的时间窗口，使得 ibd2sdi 无法读取表空间中存储的 SDI 数据。

ibd2sdi 对指定的表空间执行未提交的 SDI 读取操作，并且不访问重做日志（redo logs）或撤销日志（undo logs）。

要调用 ibd2sdi 实用程序，你可以使用类似以下的命令：

ibd2sdi [options] file_name1 [file_name2 file_name3 ...]

ibd2sdi 支持多文件表空间，如 InnoDB 的系统表空间（ibdata* 文件），但每次只能对一个表空间文件进行操作。如果你想要对多文件表空间中的每个文件使用 ibd2sdi，你需要分别指定每个文件。

例如，如果你有一个名为 ibdata1 的系统表空间文件，并且想要提取其中的 SDI 信息，你可以这样做：

ibd2sdi ibdata1 ibdata2

当处理多文件表空间时，确实需要按照页面编号的升序来指定这些文件。如果两个连续的文件具有相同的空间ID（space ID），则后一个文件必须从前一个文件的最后一个页面编号+1开始。

ibd2sdi 实用程序将 SDI（包含 id、type 和 data 字段）以 JSON 格式输出。这是一个非常方便的方式，因为 JSON 是一种广泛支持的数据交换格式，可以被许多编程语言和其他工具轻松解析。

ibd2sdi 选项

以下是 ibd2sdi 的一些常用选项，以及它们的简要说明：

显示帮助消息并退出。例如：

Usage: ./ibd2sdi [-v] [-c <strict-check>] [-d <dump file name>] [-n] filename1 [filenames]
See http://dev.mysql.com/doc/refman/8.0/en/ibd2sdi.html for usage hints.
  -h, --help          Display this help and exit.
  -v, --version       Display version information and exit.
  -#, --debug[=name]  Output debug log. See
                      http://dev.mysql.com/doc/refman/8.0/en/dbug-package.html
  -d, --dump-file=name
                      Dump the tablespace SDI into the file passed by user.
                      Without the filename, it will default to stdout
  -s, --skip-data     Skip retrieving data from SDI records. Retrieve only id
                      and type.
  -i, --id=#          Retrieve the SDI record matching the id passed by user.
  -t, --type=#        Retrieve the SDI records matching the type passed by
                      user.
  -c, --strict-check=name
                      Specify the strict checksum algorithm by the user.
                      Allowed values are innodb, crc32, none.
  -n, --no-check      Ignore the checksum verification.
  -p, --pretty        Pretty format the SDI output.If false, SDI would be not
                      human readable but it will be of less size
                      (Defaults to on; use --skip-pretty to disable.)

Variables (--variable-name=value)
and boolean options {FALSE|TRUE}  Value (after reading options)
--------------------------------- ----------------------------------------
debug                             (No default value)
dump-file                         (No default value)
skip-data                         FALSE
id                                0
type                              0
strict-check                      crc32
no-check                          FALSE
pretty                            TRUE

显示版本信息并退出。例如：

ibd2sdi  Ver 8.0.3-dmr for Linux on x86_64 (Source distribution)

打印调试日志。

ibd2sdi --debug=d:t /tmp/ibd2sdi.trace

只有使用WITH_DEBUG构建MySQL时，此选项才可用。Oracle提供的MySQL版本二进制文件不是使用此选项构建的。

将序列化的字典信息（SDI）转储到指定的转储文件中。如果未指定转储文件，则表空间SDI将转储到stdout。

ibd2sdi --dump-file=file_name ../data/test/t1.ibd

跳过从序列化字典信息（SDI）中检索数据字段值，仅检索id和类型字段值，这是SDI记录的主键。

$> ibd2sdi --skip-data ../data/test/t1.ibd
["ibd2sdi"
,
{
	"type": 1,
	"id": 330
}
,
{
	"type": 2,
	"id": 7
}
]

检索与指定的表或表空间对象id匹配的序列化字典信息（SDI）。对象id对于对象类型是唯一的。表和表空间对象id也可以在mysql.tables和mysql.tablespace数据字典表的id列中找到。

$> ibd2sdi --id=7 ../data/test/t1.ibd
["ibd2sdi"
,
{
	"type": 2,
	"id": 7,
	"object":
		{
    "mysqld_version_id": 80003,
    "dd_version": 80003,
    "sdi_version": 1,
    "dd_object_type": "Tablespace",
    "dd_object": {
        "name": "test/t1",
        "comment": "",
        "options": "",
        "se_private_data": "flags=16417;id=2;server_version=80003;space_version=1;",
        "engine": "InnoDB",
        "files": [
            {
                "ordinal_position": 1,
                "filename": "./test/t1.ibd",
                "se_private_data": "id=2;"
            }
        ]
    }
}
}
]

检索与指定对象类型匹配的序列化字典信息（SDI）。SDI是为表（类型=1）和表空间（类型=2）对象提供的。

此示例显示了测试数据库中表空间ts1的输出：

$> ibd2sdi --type=2 ../data/test/ts1.ibd
["ibd2sdi"
,
{
	"type": 2,
	"id": 7,
	"object":
		{
    "mysqld_version_id": 80003,
    "dd_version": 80003,
    "sdi_version": 1,
    "dd_object_type": "Tablespace",
    "dd_object": {
        "name": "test/ts1",
        "comment": "",
        "options": "",
        "se_private_data": "flags=16417;id=2;server_version=80003;space_version=1;",
        "engine": "InnoDB",
        "files": [
            {
                "ordinal_position": 1,
                "filename": "./test/ts1.ibd",
                "se_private_data": "id=2;"
            }
        ]
    }
}
}
]

由于InnoDB处理默认值元数据的方式，在给定表列的ibd2sdi输出中，即使没有使用default定义，默认值也可能存在且不为空。考虑在名为i的数据库中使用以下语句创建的两个表：

CREATE TABLE t1 (c VARCHAR(16) NOT NULL);

CREATE TABLE t2 (c VARCHAR(16) NOT NULL DEFAULT "Sakila");

使用ibd2sdi，我们可以看到c列的default_value是非空的，实际上在两个表中都填充了长度，如下所示：

$> ibd2sdi ../data/i/t1.ibd  | grep -m1 '\"default_value\"' | cut -b34- | sed -e s/,//
"AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA\nAAAAAAAAAAA="

$> ibd2sdi ../data/i/t2.ibd  | grep -m1 '\"default_value\"' | cut -b34- | sed -e s/,//
"BlNha2lsYQAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA\nAAAAAAAAAAA="

使用像jq这样的JSON感知实用程序可以更容易地检查ibd2sdi输出，如下所示：

$> ibd2sdi ../data/i/t1.ibd  | jq '.[1]["object"]["dd_object"]["columns"][0]["default_value"]'
"AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA\nAAAAAAAAAAA="

$> ibd2sdi ../data/i/t2.ibd  | jq '.[1]["object"]["dd_object"]["columns"][0]["default_value"]'
"BlNha2lsYQAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA\nAAAAAAAAAAA="

指定一种严格的校验和算法，用于验证所读取页面的校验和。选项包括innodb、crc32和none。

在本例中，指定了innodb校验和算法的严格版本：

ibd2sdi --strict-check=innodb ../data/test/t1.ibd

在本例中，指定了crc32校验和算法的严格版本：

ibd2sdi -c crc32 ../data/test/t1.ibd

如果没有指定--strict check选项，则会对非严格的innodb、crc32和none校验和执行验证。

跳过已读取页面的校验和验证。

ibd2sdi --no-check ../data/test/t1.ibd

输出JSON pretty 打印格式的SDI数据。默认情况下已启用。如果禁用，则SDI不是人类可读的，但尺寸较小。使用--skip-pretty 来禁用。

ibd2sdi --skip-pretty ../data/test/t1.ibd