作者:高鹏(重庆八怪)
原文地址:
https://www.jianshu.com/p/5649644fdc13
深入理解MySQL 5.7 GTID系列文章共十篇,本文为第二篇,
点击查看第一篇文章:深入理解MySQL 5.7 GTID系列(一)
该系列文章将陆续不定期更新~
一、 GTID基本格式
单个 GTID:
前一部分是SERVER_UUID,后面一部分是执行事务的唯一标志,通常是自增的。内部使用 GTID这种数据结构表示,后面会描述。
区间 GTID:
前一部分是SERVER_UUID,后面一部分是执行事务的唯一标志集合,在内部使用GTID_SET中某个SIDNO对应的INTERVAL节点表示,后面会描述。
二、SERVER_UUID的生成
既然说到了SERVER_UUID这里就开始讨论SERVER_UUID的生成。
SERVER_UUID实际上是一个32字节+1字节(/0)的字符串。MySQL启动的时候会调用INIT_SERVER_AUTO_OPTIONS()读取AUTO.CNF文件。如果没有读取到则调用GENERATE_SERVER_UUID()调用生成一个SERVER_ID。
实际上在这个函数里面会看到SERVER_UUID至少和下面部分有关:
MySQL启动时间
线程LWP有关
一个随机的内存地址有关
请看代码片段:
获得这些信息后会进入Item_func_uuid::val_str做运算返回,有兴趣的朋友可以深入看一下,最终会生成一个SERVER_UUID并且拷贝到实际的SERVER_UUID中如下:
调用栈帧:
三、SERVER_UUID的内部表示BINARY_LOG::UUID
BINARY_LOG::UUID是SERVER_UUID的内部表示实际上核心就是一个16字节的内存空间,如下:
SERVER_UUID和BINARY_LOG::UUID之间可以互相转换,在SID_MAP中BINARY_LOG::UUID表示的SERVER_UUID实际上就是其SID。
四、类结构GTID
本结构是单个GTID的内部表示其核心元素包括:
其中gno就是我们说的事务唯一标志,而SIDNO其实是SERVER_UUID的内部表示BINARY_LOG::UUID(SID)通过HASH算法得出的一个查找表中的值。参考函数SID_MAP::ADD_SID本函数则根据BINARY_LOG::UUID(SID)返回一个SIDNO。
五、类结构SID_MAP
既然说到了HASH算法那么需要一个内部结构来存储这种整个hash查找表,在MySQL中使用SID_MAP来作为这样一个结构,其中包含一个可变数组和一个HASH查找表其作用用来已经在注释里面给出。全局只有一个SID_MAP。会在GTID模块初始化的时候分配内存。SID_MAP核心元素如下:
这里在看一下可变数组中的指针元素NODE的类型:
其实他就是一个SIDNO和SID的对应。
六、类结构GTID_SET
本结构是一个关于某种类型GTID总的集合,比如我们熟知的有EXECUTE_GTID集合,PURGE_GTID集合。我们知道在一个EXECUTE_GTID集合中可能包含多个数据库的GTID也就是多个SIDNO同时存在的情况,并且可能存在某个数据库的GTID出现区间的情况如下:
这里3558703b-de63-11e7-91c3-5254008768e3的GNO出现了多个区间:
1-6
20-30
那么这种情况下内部表示应该是数组加区间链表的方式,当然MySQL内部正是这样实现的。我们来看核心元素:
7、GTID_SET的关联类结构INTERVAL
它正是前面说到的表示GTID区间如下:
da267088-9c22-11e7-ab56-5254008768e3:1-34
他的内部类就是INTERVAL类结构我们看一下核心元素就懂了:
非常简单起始GNO加一个NEXT指针,标示了一个区间。
8、类结构GTID_STATE
本结构也是在数据库启动的时候和SID_MAP一起进行初始化,也是一个全局的变量。
我们熟知的参数几个参数如下:
GTID_EXECUTED
GTID_OWNED
GTID_PURGED
都来自于次,当然除了以上的我们常见的还包含了其他一些核心元素我们来具体看看:
9、类结构 OWNED_GTIDS
这个结构包含当前线程所包含的所有正在持有的GTID集合,为事务分配GTID会先将这个GTID和线程号加入到给OWNED_GTIDS然后将线程的THD->OWNED_GTID指向这个GTID。
参考函数GTID_STATE::ACQUIRE_OWNERSHIP,在COMMIT的最后阶段会将这个GTID从OWNED_GTIDS中移除参考函数OWNED_GTIDS::REMOVE_GTID并且将他加入到GTID_STATE::EXECUTED_GTIDS中。
这个过程会在后面进行描述。其核心元素包括:
这样一个每个SIDNO都会有HASH结构其HASH的内容则是:
这样一个结构体,我们看到其中包含了GNO和线程ID。
十、类结构GTID_TABLE_PERSISTOR
本结构主要是包含一些操作MySQL.GTID_EXECUTED表的函数接口
主要包含:
Insert the gtid into table.int save(THD *thd, const Gtid *gtid);
Insert the gtid set into table.int save(const Gtid_set *gtid_set);
Delete all rows from the table.int reset(THD *thd);
Fetch gtids from gtid_executed table and store them into
gtid_executed set.int fetch_gtids(Gtid_set *gtid_set);
Compress the gtid_executed table completely by employing one or more transactions.int compress(THD *thd);
Write a gtid interval into the gtid_executed table.
int write_row(TABLE *table, const char *sid,rpl_gno gno_start, rpl_gno gno_end);Update a gtid interval in the gtid_executed table.
int update_row(TABLE *table, const char *sid,rpl_gno gno_start, rpl_gno new_gno_end);Delete all rows in the gtid_executed table.int delete_all(TABLE *table);
这些方法也是确定什么时候读/写MySQL.GTID.EXECUTED的断点。
十一、内部结构图示
为了能够用图的方式解释这些类结构之间的关系,我修改MySQL.GTID_EXECUTED表和AUTO.CNF构造出了这种有区间的GTID案例,同时在源码处增加打印代码将启动完成后的get_executed_gtids/get_lost_gtids/get_gtids_only_in_table/get_previous_gtids_logged输出到了日志。但是在线上情况下很难见到这种有区间的GTID。
假设某一时刻我们数据库启动后各种GTID如下():
2017-12-12T04:10:42.768153Z 0 [Note] gtid_state->get_executed_gtids:
Gtid have:3558703b-de63-11e7-91c3-5254008768e3:1-35,
da267088-9c22-11e7-ab56-5254008768e3:1-342017-12-12T04:10:42.768191Z 0 [Note] gtid_state->get_lost_gtids:
Gtid have:3558703b-de63-11e7-91c3-5254008768e3:1-6:20-30,
da267088-9c22-11e7-ab56-5254008768e3:1-342017-12-12T04:10:42.768226Z 0 [Note] gtid_state->get_gtids_only_in_table:
Gtid have:3558703b-de63-11e7-91c3-5254008768e3:1-6:20-30,
da267088-9c22-11e7-ab56-5254008768e3:1-342017-12-12T04:10:42.768260Z 0 [Note] gtid_state->get_previous_gtids_logged:Gtid have:3558703b-de63-11e7-91c3-5254008768e3:7-19:31-35
启动后我们马上执行了一个事务,这个事务正处于ORDERED_COMMIT的FLUSH阶段由GTID_STATE::ACQUIRE_OWNERSHIP获得了一个GTID那么它正在OWNED_GTIDS中,所以这个时候的图如下:
十二、本文小结
学习完本节至少能够学习到:
1、SERVER_UUID是什么,如何生成,按照什么规则生成
2、GTID内部是如何表示
3、SERVER_UUID和GTID内部表示之间的联系
4、 GTID_EXECUTED/GTID_OWNED/GTID_PURGED表示了什么具体对应哪个内存结构,当然这些将在后面的文章中多次提到,也会加深对它的了解。
如果有源码阅读能力的朋友可以按照这个框架继续深入学习。
对本文有任何疑问可扫码添加原文作者微信
知数堂
叶金荣与吴炳锡联合打造
领跑IT精英培训
行业资深专家强强联合,倾心定制
MySQL实战/MySQL优化 / Python/ SQL优化
数门精品课程
紧随技术发展趋势,定期优化培训教案
融入大量生产案例,贴合企业一线需求
社群陪伴学习,一次报名,可学3期
DBA、开发工程师必修课
上千位学员已华丽转身,薪资翻番,职位提升
改变已悄然发生,你还在等什么?
扫码下载知数堂精品课程试听视频
(MySQL 实战/优化、Python开发,及SQL优化等课程)
密码:hg3h