使用金仓kfs同步oracle数据到kadb

背景知识准备

了解kfs原理、了解《部署安装手册》

1. 环境

Oracle版本：12c

Kfs版本：KingbaseFlySync-V002R002C004B20230320

数据同步方式：redo

1. 安装

详细安装步骤参考

安装注意事项：

1. 安装包只有一个，而不是文档中的三个。管控平台、replicator都在一个安装包里面。
2. Replicator包，在管控平台登录后，使用节点安装到指定的目录里面
3. 解压缩、安装完成后的目录结构：

1. 节点使用图形化安装后节点的目录结构：

1. 示例ini文件路径

1. 所有机器都要在/etc/hosts文件中
2. 日志文件位置

重点关注：fsrepsvc.log

附：

源端flysync.ini文件内容：

#Sat Aug 05 15:05:59 GMT+08:00 2023

[defaults]

install-directory = /home/flysync/oracle_kfs

profile-script = ~/.bash_profile

rmi-port = 11000

[oracle]

kufl-port = 3112

datasource-type = oracle

role = master

replication-host = 192.168.85.139

replication-port = 1521

replication-user = FLYSYNC

replication-password = flysync

repl_auto_recovery_max_attempts = 30

repl_auto_recovery_delay_interval = 60s

repl_auto_recovery_reset_interval = 300s

repl_mode = normal

property = replicator.store.kufl.fsyncOnFlush=false

property = replicator.extractor.dbms.minRowsPerBlock=1000

property = replicator.extractor.dbms.scnSegmentationThreshold=5000

property = replicator.extractor.dbms.maxLobSize=5000000

property = replicator.datasource.global.catalogPrefix=false

property = replicator.store.kufl.dataSource=global

property = replicator.extractor.dbms.lowLevelFilter=false

property = replicator.filter.bic.includeAllCols=false

property = replicator.filter.replicate.do=FLYSYNC.*     //表过滤

property = replicator.filter.replicate.ignore=SYS.*                //表过滤

property = replicator.extractor.dbms.tableLevelSupLog=false

property = replicator.extractor.dbms.offline=false

property = replicator.extractor.dbms.bigEndian=false

property = replicator.extractor.dbms.cacheMeta=false

property = replicator.filter.casetransform.to_upper_case=false                 //转换为小写，好像只需要在目标端配置，源端配置不起作用

master = kingbase

members = kingbase

datasource-oracle-service = orcl

oracle-extractor-method = redo

deployModel = 1

use_cluster = false

svc-extractor-filters=dropstatementdata,replicate              //打开表过滤开关，不复制DDL

目标端flysync.ini文件内容：

#Sat Aug 05 15:05:38 GMT+08:00 2023

[defaults]

install-directory = /home/flysync/kadb_kfs

profile-script = ~/.bash_profile

rmi-port = 11000

[kadb]

kufl-port = 3113

datasource-type = kadb

role = slave

replication-host = 192.168.85.129

replication-port = 5432

replication-user = mppadmin

replication-password = mppadmin

repl_auto_recovery_max_attempts = 30

repl_auto_recovery_delay_interval = 60s

repl_auto_recovery_reset_interval = 300s

repl_mode = normal

property = replicator.applier.dbms.optimizeRowEvents=true

property = replicator.applier.dbms.maxRowBatchSize=20

property = replicator.applier.dbms.enableTypeOp=false

property = replicator.applier.dbms.conflictResolve=false

property = replicator.log.slave.updates=false

property = replicator.extractor.kufl-remote.compressType=none

property = replicator.applier.dbms.enable_handle_error=false

svc-remote-filters=casetransform,rename

property = replicator.filter.casetransform.to_upper_case=false                 //转换为小写

master = kingbase

members = 192.168.85.129

master-kufl-port = 3112

svc-parallelization-type = none

kadb-dbname = postgres

1. 问题解决

1. 源端没有配置表过滤，导致目标端日志文件fsrepsvc.log报错

Schema “SYS” not exists

解决方法：

源端（目标端）配置表过滤

在源/目标端的flysync.ini文件添加：

svc-extractor-filters=dropstatementdata,replicate              //打开表过滤开关，不复制DDL

property = replicator.filter.replicate.do=FLYSYNC.*     //表过滤

property = replicator.filter.replicate.ignore=SYS.*                //表过滤

1. oracle默认大写，kadb默认小写，导致报错

Schema “FLYSYNC” not exists

解决方法：

目标端配置大小写转换

在目标端的flysync.ini文件添加

property = replicator.filter.casetransform.to_upper_case=false                 //转换为小写

1. 源端和目标端的seqno 对不上如何处理？

日志找不到了

解决方法:

可以在目标端进行reset 操作，使得目标端seqno 重新初始化即可

fsrepctl –service kadb reset

或者,源端和目标端都reset操作

或者使用下面的方法:

1、在fsrepsvc.log里查找报错语句的seqno

2、fsrepctl -service 服务名 offline

3、fsrectl -service 服务名 offline

      查看服务的状态是否是offline:normal,如果不是，再次执行

4、kufl -service 服务名 purge -low 找到的seqno

5、kufl -service 服务名 index

   查看最后一条的seqno范围是否已经是小于找到的seqno，如果没有，上面的purge再执行一次，直到index出来的最后一条的seqno小于找到的seqno

6、fsrepctl -service 服务名 online  

1. 源端和目标端Schema发生改变

目标端添加参数:

svc-remote-filters=rename

当svc-remote-filters 中加入rename 关键字，表明开启了名称映射，需要修改对应的映射

文件，路径为安装目录/filters-config/rename.csv

rename 文件的格式为

原模式, 原表, 原列, 新模式, 新表, 新列

其中

– * 表示所有

– - 表示保持不变

S1,T1,*,S2,T2,- 将S1 模式下的T1 表映射到S2 模式下的T2 表

S1,*,*,S2,-,- 将S1 模式下的所有表映射到S2 模式下