MySQL8.0——数据库克隆

简介

MySQL8.0.17引入clone plugin，允许从本地或者远程的MySQL中克克隆的数据是InnoDB存储引擎中的物理快照信息（包括schema,表，表空间，元数据等克隆的数据是一个完整的数据目录，插件可以使用克隆的目录恢复和恢复一个mysql server。克隆的数据是InnoDB存储引擎中的物理快照信息，。

分类

克隆分为本地克隆和远程克隆。
本地克隆：将启动克隆操作的MySQL克隆到该主机的一个指定目录下。
远程克隆：涉及到启动克隆操作的本地MySQL成为recipients（接受方），远端的源数据的MySQL成为doner(捐赠方)。通过网络传输的方式将数据克隆到指定目录。如果不指定目录则会将接收方数据目录中的所有数据替换为克隆的数据。主要用于实现数据远程的快速热迁移操作。在迁移过程中，除DDL操作情况，其他操作不出现阻塞情况、远程克隆技术，实现快速构建数据库的主从结构，实现主从数据信息快速复制同名。

原理

在进行数据库克隆操作时，会经历几个重要的过程:
01 Page copy
在进行数据页复制操作时，会涉及到两个操作动作：
开启redo archiving功能，从当前点开始存储新增的redo_log，这样从当前位置点开始所有的增量修改都不会丢失;同时上一步在page track的page被发送到目标端，确保当前位置点之前所有做的变更一定发送到目标端;关于redo archiving实际上这是官方早就存在的功能，主要用于官方的企业级备份工具，clone利用了该特性来维持记录增量产生的redo在开始克隆前会做一次checkpoint;对于redo archiving功能应用，会开启一个后台线程log_archiver_thread()来做日志归档;当有新的写入时(notify_about_advanced_write_lsn)，也会通知线程去进行归档，当arch_log_sys处于活跃状态时
线程会控制日志写入以避免未归档的日志被覆盖(log_write_wait_on_archiver),注意如果log_write等待时间过长的话，archive任务会被中断掉;
02 Redo copy
停止redo archiving功能，所有归档的日志被发送到目标端，这些日志包含了从page copy阶段开始到现在的所有日志;另外可能还需要记下当前的复制点，例如：最后一个事务提交时的binlog位置点或者gtid信息，在系统页中可以找到;
03 Done
目标端重启实例，通过crash recovery将redo log应用上去;
说明：整个克隆过程都会以事件信息记录，可以很清晰的看到克隆的流程，如果克隆过程中断，也会以追加方式进行继续克隆;在进行克隆功能应用时，也是存在一些限制性操作的：(结合官方列出的限制)对于MySQL 8.0.27之前版本，在进行克隆操作期间，是不允许在捐赠者和接受者上进行DDL操作，包括：truncate table操作;对于MySQL 8.0.27之后版本，在捐赠者上默认允许并发DDL操作，对于捐赠者上并发DDL的支持由clone_block_DDL变量控制;对于不同版本的MySQL数据库实例之间，是不能进行克隆操作的。对于捐赠者和接受者必须是确切相同数据库服务版本;
例如：你不能克隆数据在between MySQL 5.7 and MySQL 8.0. or between MySQL 8.0.19 and MySQL 8.0.20;这个克隆功能只支持在数据库8.0.17版本或之后的版本.

克隆插件的限制

1、克隆期间，不允许执行DDL命令。同样，DDL会阻塞克隆命令的执行
2、Clone Plugin不会拷贝Donor的配置参数。
3、Clone Plugin不会拷贝Donor的二进制日志文件。
4、Clone Plugin只会拷贝InnoDB表的数据，对于其它存储引擎的表，只会拷贝表结构。
5、Donor实例中如果有表通过DATA DIRECTORY指定了绝对路径，在进行本地克隆时，会提示文件已存在。在进行远程克隆时，绝对路径必须存在且有可写权限。
6、不允许通过MySQL Router连接Donor实例。
7、执行CLONE INSTANCE操作时，指定的Donor端口不能为X Protocol端口。

8、MySQL版本（包括小版本）必须一致，且支持Clone Plugin。
```
ERROR 3864 (HY000): Clone Donor MySQL version: 8.0.20 is different from Recipient MySQL version 8.0.19.
```
9、主机的操作系统和位数（32位，64位）必须一致。两者可根据version_compile_os，version_compile_machine参数获取。
10、Recipient必须有足够的磁盘空间存储克隆数据。
11、字符集（character_set_server），校验集（collation_server），character_set_filesystem必须一致。
11、innodb_page_size必须一致。会检查innodb_data_file_path中ibdata的数量和大小。12、目前Clone Plugin（8.0.20）的实现，无论是Donor，还是Recipient，同一时间，只能执行一个克隆操作。后续会支持多个克隆操作并发执行。
```
ERROR 3634 (HY000): Too many concurrent clone operations. Maximum allowed - 1
```
13、Recipient需要重启，所以其必须通过mysqld_safe或systemd等进行管理。如果是通过mysqld进行启动，实例关闭后，需要手动启动。
```
ERROR 3707 (HY000): Restart server failed (mysqld is not managed by supervisor process).
```

---

部署

加载插件：
```
# 进行克隆插件加载配置
mysql> INSTALL PLUGIN clone SONAME 'mysql_clone.so';
或者
[mysqld]
plugin-load-add=mysql_clone.so
clone=FORCE_PLUS_PERMANENT

mysql> SELECT PLUGIN_NAME, PLUGIN_STATUS FROM INFORMATION_SCHEMA.PLUGINS WHERE PLUGIN_NAME = 'clone';
+------------------+----------------------+
| PLUGIN_NAME | PLUGIN_STATUS |
+------------------+----------------------+
| clone | ACTIVE |
+------------------+----------------------+
1 row in set (0.00 sec)
```

本地克隆

1、创建本地克隆的专用用户
 ```
mysql> create user clone_user@'%' identified by 'password';
 
mysql> grant backup_admin on *.* to 'clone_user';
 
-- backup_admin权限是mysql 8.0才有的备份锁的权限;
```
2、进行本地克隆操作
```
#创建克隆后的数据目录确保这个目录为空，并授权mysql
mkdir -p /data/test
chown -R mysql.mysql /data/

#使用本地克隆用户的账号登录数据库，后执行clone
mysql -uclone_user -ppassword
mysql> clone local data directory = '/data/test/clonedir';
```
3、查看克隆的进度
```
 select stage,state,end_time from performance_schema.clone_progress;
```

4、启动数据库
```
mysqld_safe --datadir=/data/test/clonedir --port=3333 --socket=/tmp/mysql3333.sock --user=mysql --mysqlx=off &
```

远端克隆

1、创建远端克隆的用户
```
#在克隆捐赠者主机上进行授权(数据库01主机上设置)
 
mysql> create user doner@'%' identified by 'password';
 
mysql> grant backup_admin on *.* to doner@'%' ;

# 在克隆接收者主机上进行授权(数据库02主机上设置)
 
mysql> create user recipients@'%' identified by 'password';
 
mysql> grant clone_admin on *.* to recipients@'%' ;
```
说明：可以在克隆捐赠者主机上和接收者主机上均创建两个用户信息，防止克隆同步数据后，接收者主机上不再含有接收用户信息;

2、进行克隆操作
```
# 在克隆接收者主机上进行设置
 
mysql> set global clone_valid_donor_list='10.30.1.190:3306';
 
-- 设置克隆同步数据的信任列表
 
# 在克隆接收者主机上进行克隆
 
[root@xiaoq-02 ~]# mysql -u'recipients' -ppassword -h10.30.1.190 -P3306
 
mysql> clone instance from recipients@'10.30.1.190':3306 identified by 'password';
 
-- 在接收者主机上实现远程克隆操作
```
3、查看克隆的进度
```
 select stage,state,end_time from performance_schema.clone_progress;
```