mysql gtid复制原理_MySQL · 引擎特性 · 基于GTID复制实现的工作原理

GTID (Global Transaction IDentifier) 是全局事务标识。它具有全局唯一性，一个事务对应一个GTID。唯一性不仅限于主服务器，GTID在所有的从服务器上也是唯一的。一个GTID在一个服务器上只执行一次，从而避免重复执行导致数据混乱或主从不一致。

在传统的复制里面，当发生故障需要主从切换时，服务器需要找到binlog和pos点，然后将其设定为新的主节点开启复制。相对来说比较麻烦，也容易出错。在MySQL 5.6里面，MySQL会通过内部机制自动匹配GTID断点，不再寻找binlog和pos点。我们只需要知道主节点的ip，端口，以及账号密码就可以自动复制。

GTID的组成部分：

GDIT由两部分组成：GTID = source_id:transaction_id。 其中source_id是产生GTID的服务器，即是server_uuid，在第一次启动时生成(sql/mysqld.cc: generate_server_uuid())，并保存到DATADIR/auto.cnf文件里。transaction_id是序列号(sequence number)，在每台MySQL服务器上都是从1开始自增长的顺序号，是事务的唯一标识。例如：3E11FA47-71CA-11E1-9E33-C80AA9429562:23

GTID 的集合是一组GTIDs，可以用source_id+transaction_id范围表示，例如：3E11FA47-71CA-11E1-9E33-C80AA9429562:1-5

复杂一点的：如果这组 GTIDs 来自不同的 source_id，各组 source_id 之间用逗号分隔；如果事务序号有多个范围区间，各组范围之间用冒号分隔，例如：3E11FA47-71CA-11E1-9E33-C80AA9429562:23,3E11FA47-71CA-11E1-9E33-C80AA9429562:1-5

GTID如何产生：

GTID的生成受GTID_NEXT控制。

在主服务器上，GTID_NEXT默认值是AUTOMATIC，即在每次事务提交时自动生成GTID。它从当前已执行的GTID集合(即gtid_executed)中，找一个大于0的未使用的最小值作为下个事务GTID。同时在实际的更新事务记录之前，将GTID写入到binlog(set GTID_NEXT记录)。

在Slave上，从binlog先读取到主库的GTID(即get GTID_NEXT记录)，而后执行的事务采用该GTID。

GTID的工作原理：

GTID在所有主从服务器上都是不重复的。所以所有在从服务器上执行的事务都可以在bnlog找到。一旦一个事务提交了，与拥有相同GTID的后续事务都会被忽略。这样可以保证从服务器不会重复执行同一件事务。

当使用GTID时，从服务器不需要保留任何非本地数据。使用数据都可以从replicate data stream。从DBA和开发者的角度看，从服务器无保留file-offset pairs以决定如何处理主从服务器间的数据流。

GTID的生成和使用由以下几步组成：

主服务器更新数据时，会在事务前产生GTID，一同记录到binlog日志中。

binlog传送到从服务器后，被写入到本地的relay log中。从服务器读取GTID，并将其设定为自己的GTID(GTID_NEXT系统)。

sql线程从relay log中获取GTID，然后对比从服务器端的binlog是否有记录。

如果有记录，说明该GTID的事务已经执行，从服务器会忽略。

如果没有记录，从服务器就会从relay log中执行该GTID的事务，并记录到binlog。

GTID相关的变量

GTID_NEXT:

SESSION级别变量，表示下一个将被使用的GTID。

Scope : Session

Dynamic : Yes

Type : Enumeration

Default Value : AUTOMATIC

Valid Values :

-- AUTOMATIC: 使用自动产生的下一个GTID。

-- ANONYMOUS: 事务没有GTID, 只使用 file and position 作为标识。

-- UUID:NUMBER：GTID in UUID:NUMBER format.

GTID_MODE:

Log 是否使用GTID或使用anonymous。anonymous transaction用binlog file 和position来标识事务。

Scope : Global

Dynamic : Yes

Type : Enumeration

Default Value : OFF

Valid Values

-- OFF：新的和复制事务都使用anonymous。

-- OFF_PERMISSIVE：新的事务都使用anonymous，而复制事务可以使用GTID或anonymous。

-- ON_PERMISSIVE：复制事务都使用anonymous，而新事务可以使用GTID或anonymous。

-- ON: 新的和复制事务都使用GTID

GTID_EXECUTED:

包含已经在该实例上执行过的事务； 执行RESET MASTER 会将该变量置空; 我们还可以通过设置GTID_NEXT在执行一个空事务，来影响GTID_EXECUTED。使用 SHOW MASTER STATUS and SHOW SLAVE STATUS，其中Executed_Gtid_Set会显示GTID_EXECUTED里的GTIDs。5.7.7之前，GTID_EXECUTED可以是seesion变量。它包含当前session写入缓存的一组事务。

Scope : Global, Session

Dynamic : No

Type : String

GTID_PURGED:

已经被删除了binlog的事务，它是GTID_EXECUTED的子集，只有在GTID_EXECUTED为空时才能设置该变量，修改GTID_PURGED会同时更新GTID_EXECUTED和GTID_PURGED的值。

Scope : Global

Dynamic : Yes

Type : String

GTID_OWNED:

表示正在执行的事务的GTID以及其对应的线程ID。

Scope : Global, Session

Dynamic : No

Type : String

如果GDIT_OWNED是全局变量，它包含所有当前服务器上正在使用的GTIDs和使用它们的线程IDs。这个变量主要用于多线程从服务器复制，从而可以查看一个事务是否已经被另一个线程处理。这个线程会拥有所处理事务的ownership。@@global.grid_owned会显示出GTID和它的owner。当事务处理完成，线程会释放ownership.

如果GDIT_OWNED是session变量，它包含一个seesion正在使用的GTID。这个变量对测试和debug会很有帮助。

Reference:

https://dev.mysql.com/doc/refman/5.6/en/replication-gtids-concepts.html

https://dev.mysql.com/doc/refman/5.6/en/replication-options-gtids.html