数据校验
功能介绍
数据校验工具 gs_datacheck,分为check服务和extract服务。check服务用于数据校验,extract服务用于数据抽取和规整。
原理介绍
全量校验:
在全量数据迁移完成后,由extract服务对源端和目标端数据通过JDBC方式进行数据抽取然后规整计算,并将计算后的中间数据推送到kafka中。最后由check服务提取kafka中的中间数据,构建默克尔树,通过默克尔树比对实现表数据校验且输出校验结果。
增量校验:
由debezium服务侦听源端数据库的增量数据,到指定topic。再由源端extract服务处理该topic增量数据,触发check增量校验。
环境准备
- ARM+openEuler 20.03 或 X86+CentOS 5.7
- JDK : JDK11+
- MYSQL:要求5.7+版本
- openGauss:openGauss3.0.0+
- 详情查看:https://opengauss.org
详情查看:https://docs-opengauss.osinfra.cn