kingbaseflysync 环境准备

kingbaseflysync 环境准备
1.配置用户环境 flysync
2.资源限制 ulimit -a, hosts文件配置，
3.时钟同步检查
4.系统部署软件检查
5.上传软件包

6.图形安装
7.命令行安装

8.服务启动与停止
启动管控平台
su - root
/xx/xx/scripts/fs.sh console start
启动对比服务
su - root
/xx/xx/scripts/fs.sh compare start

停止
/xx/xx/scripts/fs.sh console stop
/xx/xx/scripts/fs.sh compare stop

一.初始数据搬迁，
刚配置同步配置，未启动数据实时复制
1.命令行操作
结构搬迁
数据搬迁

1.1 结构搬迁
源端流水(特殊模式)，目标端流水(极速模式，平滑模式)搬迁
/home/flysync/replicator/flysync-replicator/bin
ddlscan --help

1.1.1 源端流水(特殊模式)
源端流水线结构搬迁需要在数据同步环境的源端节点上运行
假设将KingbaseES V7 中TEST 数据库PUBLIC 模式下的TEST1 和TEST2 表迁移到目标端
Kingbase V7 的TEST 库下，源端服务名为kingabse7
执行命令行参数如下:
ddlscan -source.service kingbase7 -source.user SYSTEM -source.pass 123456 \
-source.db TEST -source.dbtype kingbase7 -source.host 192.168.11.44 \
-source.port 65432 -source.schema PUBLIC -source.tables PUBLIC.TEST1,PUBLIC.
,→TEST2 \
-target.db TEST -source.rmiHost 192.168.11.44 -source.rmiPort 11000 \
-target.service kingbase7 -mgType 2

server.json 文件的导出方式为:
fsrepctl properties > service.json

1.1.2 极速模式/平滑模式（目标端流水线）
目标端流水线结构搬迁需要在数据同步环境的目标端节点上运行
假设将KingbaseES V7 中TEST 数据库PUBLIC 模式下的TEST1 和TEST2 表迁移到目标端
Kingbase V7 的TEST 库下，目标端服务名为kingabse7
执行命令行参数如下:
ddlscan -target.service kingbase7 -source.user SYSTEM -source.pass 123456 \
-source.db TEST -source.dbtype kingbase7 -source.host 192.168.11.44 \
-source.port 65432 -source.schema PUBLIC -source.tables PUBLIC.TEST1,PUBLIC.
,→TEST2 \
-target.db TEST -mgType 0

搬迁命令不会清空原有数据，需要需要清空数据，需要指定参数-clean

2 数据搬迁
loader --help

极速模式（目标端流水线快速搬迁）
假设将KingbaseES V7 中TEST 数据库PUBLIC 模式下的TEST1 和TEST2 表迁移到目标端
Kingbase V7 的TEST 库下，目标端服务名为kingabse7
执行命令行参数如下:
loader -source.user SYSTEM -source.pass 123456 -source.db TEST \
-source.dbtype kingbase7 -source.host 192.168.11.44 -source.port 65432 \
-source.tables PUBLIC.TEST1,PUBLIC.TEST2 -target.service kingbase7 \
-mgType 0

2.1 平滑模式（目标端流水线无缝搬迁）
假设将KingbaseES V7 中TEST 数据库PUBLIC 模式下的TEST1 和TEST2 表迁移到目标端
Kingbase V7 的TEST 库下，源端服务名kingbase7，目标端服务名为kingabse7
执行命令行参数如下:
loader -source.service kingbase7 -source.user SYSTEM -source.pass 123456 \
-source.db TEST -source.dbtype kingbase7 -source.host 192.168.11.44 \
-source.port 65432 -source.tables PUBLIC.TEST1,PUBLIC.TEST2 \
-source.rmiHost 192.168.11.44 -source.rmiPort 11000 \
-target.rmiHost 192.168.11.45 -target.rmiPort 11000 \
-target.service kingbase7 -mgType 1 -clean

平滑模式搬迁过程中，不可人为修改服务状态。若因外界原因导致服务状态异常，需将
服务修正为online 后再次执行搬迁

2.2 特殊模式（源端流水线无缝搬迁）
假设将KingbaseES V7 中TEST 数据库PUBLIC 模式下的TEST1 和TEST2 表迁移到目标端
Kingbase V7 的TEST 库下，源端服务名kingbase7，目标端服务名为kingabse7
执行命令行参数如下:
loader -source.service kingbase7 -source.user SYSTEM -source.pass 123456 \
-source.db TEST -source.dbtype kingbase7 -source.host 192.168.11.44 \
-source.port 65432 -source.tables PUBLIC.TEST1,PUBLIC.TEST2 \
-source.rmiHost 192.168.11.44 -source.rmiPort 11000 \
-target.service kingbase7 -mgType 2 -clean

图形操作
多表图形操作， 同时搬迁多个表

3.单表刷新
在不经过校验的情况下，将源端和目标端不一致的数据表，强制刷新为一致的数据
在源端reload-table命令
reload-table -help

注意事项
单表数据刷新，不能和数据校验、初始搬迁等功能同步进行，即这三种任务，同一时间只能有一个在
执行。

4.同步服务使用
启动同步程序
replicator start/stop/status

4.1查看状态
查看解析位置
kufl list
查看同步状态
fsrepctl status
跳过某个事务
fsrepctl online -skip-seqno xx

修改配置文件flysync.ini或setupCDC.conf时，需先停止同步服务，
replicator stop 
修改配置文件
fspm update
replicator start

4.2 数据同步服务的可靠性配置
增强
服务开机自启
注册开机启动服务
cd /xx/flysync/flysync-replicator/bin
./replicator install
移除服务
./replicator remove

服务守护(自带)
故障自动恢复 配置参数
比如，如下配置，表示系统故障时，30 秒后，尝试重新恢复，尝试次数为2。并且300 秒后，
将重试次数重置
repl_auto_recovery_max_attempts=2
repl_auto_recovery_delay_interval=30s
repl_auto_recovery_reset_interval=300s

5.服务管理
服务管理目标是查看服务状态，修改服务状态

6.数据校验
在完成数据实时同步后，验证同步的正确性
数据比对共包含三个方面：
1. 任务管理
2. 调度管理
3. 查看结果

6.4 多目标端比对操作

7.关于licence
授权文件过期
7.1 license更换  关闭服务，替换原有的，启动服务

关键文件路径及说明
日志文件
安装路径/flysync/flysync-replicator/log
• 配置文件
安装路径/flysync/flysync-replicator/conf
• 授权文件
安装路径/flysync/flysync-replicator/conf

修改管控平台的连接信息
Linux 下，使用vim 打开flysync-console.jar 包，定位到application-pro.properties，回
车，打开后编辑，保存

7.2 update 和install 的关系
第一次安装flysync 的使用，使用
fspm install
后面修改了flysync.ini 配置文件，或者需要更新flysync 版本时，使用update
fspm update

7.3 如何跳过错误数据
flysync 中，当目标端出现错误后，经过排查，出现错误的数据是用户不想要的数据（比如主键冲突，
已经存在等），可以跳过当前数据
fsrepctl -service 服务名online -skip-seqno 序号