分布式 | DBLE 新全局表检查实现浅析

作者：孙正方
爱可生 DBLE 核心研发成员，拥有丰富的分布式数据库中间件开发、咨询以及调优经验，擅长数据库中间件问题排查和处理，对线上中间件部分排错有深入的实践与认知。
本文来源：原创投稿
*爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。

---

背景

在 dble 2.19.11.0 之前的版本中，继承于 Mycat 的实现，全局表检查是一个 server 级别的功能，并且通过在创建全局表的时候添加列 _dble_op_time 来进行实现。在实际使用中带来了许多棘手的问题。

• 开关不便
• 结果集处理不便
• 数据导入处理不便

在 dble 2.19.11.0 中，考虑到生产中实际使用的场景和定义情况，按照以下的几点要求，对于全局表检查进行了重新的设计：

• 检查开关在表格级别（只有部分表格需要检查）

• 检查触发的具体时间需要能精确定义

• 检查的方式要求可以自定义

• 检查方式自定义要求足够足够简单明确

实现原理

根据以上提供的明确要点，dble 引入了 quartz 框架来进行定时任务的时间控制，并且在 schema.table 级别的标签上添加了以下的几个可选项：

• globalCheck

• cron

• globalCheckClass

并且在加载过程中，将每一个 table 的全局表检查，作为一个独立的定时任务加载到 quartz 中去，之后便交由 quartz 进行触发和执行。

而至于每一个独立的定时任务，则可以和其他的 dble 中的自定义功能一样，由用户自定义以下几个方法：

• getCountSQL (全局表检查 SQL 执行定义)

• getFetchCols (全局表检查结果集列定义)

• resultEquals (全局表检查结果对比方法)

• failResponse (全局表检查失败反馈方法)

• resultResponse (全局表检查结果反馈方法)

具体的执行逻辑和流程如下图所示：

简单的描述为以下步骤：

• start/reload 的时候将表格所配置的定时任务加入到 quartz 中

• quartz 触发定时任务

• 实例化 AbstractConsistencyChecker 并执行

• 根据方法 getCountSQL 确定需要执行的 SQL，并将 SQL 下发执行

• 根据方法 getFetchCols 确定需要获取的 SQL 执行结果列

• 根据方法 resultEquals 对于不同 MySQL 上的检查结果进行对比

• 根据 failResponse 和 resultResponse 方法进行结果的反馈

全局表检查使用实例

当然，dble 内置了两种全局表检查的默认方法，并提供了对应的简称：

• CHECKSUM

• COUNT

顾名思义，以上的两种默认方法分别通过在不同的 MySQL 节点求取同名表的 checksum 值以及 count 的数量来进行比较不同 MySQL 节点上的数据的一致性。

具体则可以按照以下进行配置：

<!--dble内置CHECKSUM检查方式-->
<table name="tb_global1" dataNode="dn1,dn2" type="global" globalCheck="true" cron = "0 * * * * ?" globalCheckClass="CHECKSUM"/>
<!--dble内置COUNT检查方式-->
<table name="tb_global2" dataNode="dn1,dn2" type="global" globalCheck="true" cron = "0 * * * * ?" globalCheckClass="COUNT"/>