关键字:
KingbaseFlySync、KFSMC、电科金仓、数据校验、 分片校验
1.功能描述
中电科金仓数据同步管理平台KFSMC支持对数据进行分片校验,当单表数据量较多时可以选择进行分片校验,从而提升数据校验速度。
2.使用场景介绍
用于单表数据量较大的场景,通过在KFSMC校验参数中进行配置,其中用户可根据实际需求自行定义分片的数量。
3.配置使用方式介绍
3.1 全局分片(源端表需要有索引,录入的是每片的条数)
登录KFSMC所在机器,新建校验任务,选择普通校验后,点击高级参数,设置分片条数大小
3.2 单表分片(针对无法全局分片的表或全局分片结果不均匀的表,录入的是总分片个数,优先使用整型、时间类型列)
登录KFSMC所在机器,新建校验任务,选择普通校验后,点击高级参数,设置分片条数大小
选择分片列,按照需求设置分片大小,点击确定
4.使用示例
4.1 前置条件
假设有一张单表TABLE_DATETIME数据量较多,我们希望对该表进行分片校验,从而提升数据校验速度。
4.2 操作步骤
1)参考《Kingbase FlySync 安装部署手册》完成KFS同步链路以及KFSMC的安装部署。
2)登录KFSMC,按上文所述步骤建立单表分片检验任务和调度,随后对表TABLE_DATETIME进行分片校验。
4.3 结果展示
1.分片校验结果展示:
从上图中分片校验结果图可以看出,选择分片校验后,KFSMC对TABLE_DATETIME分成了五片进行并行检验,因此该校验方法可应用于单表数据量较大的场景进行快速校验。