KingbaseFlySync replicator安装（KES-KES）

最新推荐文章于 2024-05-31 11:56:15 发布
最新推荐文章于 2024-05-31 11:56:15 发布
阅读量719 收藏 1
点赞数
分类专栏： 数据库 文章标签： ruby 服务器 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/arthemis_14/article/details/122215818
版权

目录

源端

一、安装前置配置

二、安装

目标端

一、安装前置配置

二、安装

源端

一、安装前置配置

1、创建安装用户

groupadd flysync
useradd flysync -g flysync -G kingbase
passwd flysync

2、上传安装文件包和license文件到服务器/home/flysync目录下，并解压

tar -xzvf KingbaseFlySync-V001R005C002B20210524-replicator.tar.gz

3、配置将hosts文件，将源端和目标端服务器都加上去

vi /etc/hosts
192.168.100.114  kes8
192.168.100.124  kes8-2

4、配置/etc/security/limits.conf文件【可选】

vi /etc/security/limits.conf

flysync - nofile 65535

flysync - nproc  8096

kingbase   - nofile 65535

kingbase   - nproc  8096

5、开启时间同步服务【可选】

yum install ntp -y
systemctl start ntpd
systemctl enable ntpd

6、在/etc/sysctl.conf配置swappiness参数【可选】

vi /etc/sysctl.conf

vm.swappiness = 10

sysctl -p

7、检查依赖软件jdk和ruby【必须】

  • jdk
java -version

版本小于1.8的，可以使用yum安装1.8版本

yum install java-1.8.0-openjdk.x86_64

也可以下载oracle的1.8版本的JDK包手动上传安装

  • ruby
ruby --version

如果没安装ruby

可以使用yum方式安装

yum install ruby

也可以使用KFS控制台服务器里自带的ruby包进行替换，位置在：/opt/KFS/console/media/rbenv，

将压缩包解压到/usr/local，然后配置/etc/profile文件里$PATH环境变量，将ruby的bin目录添加进去

vi /etc/profile

export PATH=$PATH:/usr/local/ruby/bin

source /etc/profile

二、安装

1、检查数据库decoderbufs插件是否安装

----检查V8安装目录下的/lib目录，是否有decoderbufs.so和kfs_current_query.so包，若没有，将KingbaseFlySync安装包中附带的decoderbuf.so和kfs_current_query.so复制到Kingbase安装目录的/lib目录下。

----检查V8安装目录下的/share/extension目录，是否有decoderbufs.control文件，若没有，将KingbaseFlySync安装包中附带的decoderbuf.control复制到Kingbase安装目录的/share/extension目录下

ls   /opt/Kingbase/ES/V8/Server/lib/decoderbufs.so

ls   /opt/Kingbase/ES/V8/Server/lib/kfs_current_query.so

ls   /opt/Kingbase/ES/V8/Server/share/extension/decoderbufs.control

如果没有，解压KFS安装包中自带的压缩包，将这些文件复制到相应目录

cd  /home/flysync/KingbaseFlySync-V001R005C002B20210524-replicator/extensions/decoderbufs

cp kfs_decoderbufs_lib_linux64_v8r3.zip  /home/kingbase

cd /home/kingbase

unzip kfs_decoderbufs_lib_linux64_v8r3.zip

cp ./lib/decoderbufs.so /opt/Kingbase/ES/V8/Server/lib

cp ./lib/kfs_current_query.so /opt/Kingbase/ES/V8/Server/lib

cp ./share/extension/decoderbufs.control  /opt/Kingbase/ES/V8/Server/share/extension

chown kingbase:kingbase /opt/Kingbase/ES/V8/Server/lib/decoderbufs.so

chown kingbase:kingbase /opt/Kingbase/ES/V8/Server/lib/kfs_current_query.so

chown kingbase:kingbase /opt/Kingbase/ES/V8/Server/share/extension/decoderbufs.control

2、编辑安装目录下data/sys_hba.conf文件,增加如下配置，使用户有复制权限:

vi /opt/Kingbase/data/sys_hba.conf

host replication all 127.0.0.1/32    md5

host replication all 0.0.0.0/0       md5

3、编辑安装目录下data/kingbase.conf文件,修改如下配置：

vi /opt/Kingbase/data/kingbase.conf

max_wal_senders=4          #日志发送进程数，数据库个数*2,最小为4

wal_keep_segments=4        #保留日志数量，根据磁盘空间设置，越大越好

wal_level=logical          #日志级别，必须为logical      

max_replication_slots=4    #复制槽数量,数据库个数*2,最小为4

全部配置完成后，重启数据库使配置生效。

sys_ctl -D /opt/Kingbase/data restart

4、在安装用户家目录配置flysync.ini

flysync.ini必须配置在安装用户的家目录下

vi /home/flysync/flysync.ini

[defaults]

install-directory=/home/flysync/kfsrep

profile-script=~/.bash_profile

rmi-port=11000

[kingbase8]

role=master

master=kes8

members=kes8

kufl-port=3112

replication-host=192.168.100.114

replication-port=54321

replication-user=FLYSYNC

replication-password=123456

datasource-type=kingbase

datasource-version=8

kingbase-extractor-method=xlogical

kingbase-dbname=TEST

svc-extractor-filters=replicate

property=replicator.filter.replicate.do=PUBLIC.*,flysync_kingbase8.*

property=replicator.filter.replicate.ignore=PUBLIC.T1

#大事务拆分参数，到达4000行开始拆分事务，默认为500

property=replicator.extractor.dbms.minRowsPerBlock=4000

#同步DDL语句所需，可以配置支持的DDL类型

property=replicator.extractor.dbms.ddlListFile=/home/flysync/kfsrep/filters-config/ddl_support_list.csv

#在开启同步DDL后生效，create table as类型语句，同时产生DDL和DML，是否保留DML，true为保留，false为不保留，默认为true。

property=replicator.extractor.dbms.keepMixDML=true

PG模式需要添加以下参数：

property=replicator.datasource.global.connectionSpec.databaseMode=pg

5、从KFS安装包目录下的extensions/jdbc拷贝jdbc包

V8R3（不含）之上的版本，使用kingbase8-8.6.0.jar

V8R3(含)以下版本，使用kingbase8-8.2.0.jar

cd /home/flysync/KingbaseFlySync-V001R005C002B20210524-replicator/extensions/jdbc

cp kingbase8-8.6.0.jar /home/flysync/KingbaseFlySync-V001R005C002B20210524-replicator/flysync-replicator/lib

6、安装

cd   /home/flysync/KingbaseFlySync-V001R005C002B20210524-replicator/tools

./fspm install

7、复制license文件到安装目录

cp license.dat kfsrep/

8、应用环境变量，启动replicator

source ~/.bash_profile

replicator start

9、查看服务状态

fsrepctl -service kingbase8 status

fsrepctl services

10、搬迁

--结构搬迁

ddlscan -target.service kes8_mysql8 -source.user FLYSYNC -source.pass 123456  -source.db TEST -source.dbtype kingbase8 -source.host kes8 -source.port 54321 -source.schema PUBLIC -target.db TEST1 -mgType 0

--数据搬迁

loader -source.user flysync -source.pass 123456 -source.db test  -source.dbtype kingbase8 -source.host 192.168.100.114 -source.port 54321 -source.schema public -target.service kes8_mysql8 -mgType 0 -clean

目标端

一、安装前置配置

1、创建安装用户

groupadd flysync

useradd flysync -g flysync -G kingbase

passwd flysync

2、上传安装文件包和license文件到服务器/home/flysync目录下，并解压

tar -xzvf KingbaseFlySync-V001R005C002B20210524-replicator.tar.gz

3、配置将hosts文件，将源端和目标端服务器都加上去

vi /etc/hosts

192.168.100.114  kes8

192.168.100.124  kes8-2

4、配置/etc/security/limits.conf文件【可选】

vi /etc/security/limits.conf

flysync - nofile 65535

flysync - nproc  8096

kingbase   - nofile 65535

kingbase   - nproc  8096

5、开启时间同步服务【可选】

yum install ntp -y

systemctl start ntpd

systemctl enable ntpd

6、在/etc/sysctl.conf配置swappiness参数【可选】

vi /etc/sysctl.conf

vm.swappiness = 10

sysctl -p

7、检查依赖软件jdk和ruby【必须】

--jdk

java -version

版本小于1.8的，可以使用yum安装1.8版本

yum install java-1.8.0-openjdk.x86_64

也可以下载oracle的1.8版本的JDK包手动上传安装

--ruby

ruby --version

如果没安装ruby

可以使用yum方式安装

yum install ruby

也可以使用KFS控制台服务器里自带的ruby包进行替换，位置在：/opt/KFS/console/media/rbenv，

将压缩包解压到/usr/local，然后配置/etc/profile文件里$PATH环境变量，将ruby的bin目录添加进去

vi /etc/profile

export PATH=$PATH:/usr/local/ruby/bin

source /etc/profile

二、安装

1、创建数据库用户

ksql> CREATE USER FLYSYNC SUPERUSER PASSWORD '123456';

当数据库为 pg 兼容模式时，应在 kingbase.conf 文件中修改如下配置

名称

含义

ora_input_emptystr_isnull=off

关闭空字符串显示为 null(pg 兼容模式需配置)

2、在安装用户家目录配置flysync.ini

flysync.ini必须配置在安装用户的家目录下

vi /home/flysync/flysync.ini

[defaults]

# 安装目录

install-directory=~/kfsrep

# 环境变量脚本位置

profile-script=~/.bash_profile

# rmi端口,默认11000

rmi-port=11000

# 服务名

[kes82]

# 监听kufl获取的端口

kufl-port=3112

# master主机名

master=kes8

# 当前主机名

members=kes8-2

##指定连接master监听的kufl端口

master-kufl-port=3112

# 数据源类型

datasource-type=kingbase

# 同步数据库信息

replication-host=192.168.100.124

replication-user=flysync

replication-password=123456

replication-port=54321

# 同步服务角色

role=slave

## 指定连接的数据库名称

kingbase-dbname=test

## kingbase 版本号

datasource-version=8

## 过滤器开关配置

svc-remote-filters=rename

## 集群参数

# property=replicator.datasource.global.connectionSpec.use_cluster=true

# property=replicator.datasource.global.connectionSpec.slave_add=192.168.28.176,192.168.28.176

# property=replicator.datasource.global.connectionSpec.slave_port=1521,1521

### 过滤器详细配置

## replicate 表过滤

# property=replicator.filter.replicate.do=PUBLIC.*

# property=replicator.filter.replicate.ignore=PUBLIC.T1

## casetransform 大小写转换

# property=replicator.filter.casetransform.to_upper_case=true

## 优化参数

# 开启小事务合并入库

property=replicator.applier.dbms.optimizeRowEvents=true

# 指定单表一次入库的数据量

property=replicator.applier.dbms.maxRowBatchSize=5000

# 自动恢复尝试次数，系统 OFFLINE 时，尝试将系统重新置于ONLINE状态的次数

repl_auto_recovery_max_attempts=100

# 系统 OFFLINE 时，尝试 ONLINE 之前的等待时间，s(秒)、m(分钟)、h(小时)

repl_auto_recovery_delay_interval=30s

# 系统自动恢复次数重置时间，s(秒)、m(分钟)、h(小时)

repl_auto_recovery_reset_interval=300s

想要提升入库性能，可以配置optimizeRowEvents和maxRowBatchSize参数，小事务场景下， maxRowBatchSize 表示单表一次入库的数据量。

5000 表示每次入库 5000 条数据。

property=replicator.applier.dbms.optimizeRowEvents=true

property=replicator.applier.dbms.maxRowBatchSize=5000

3、从KFS安装包目录下的extensions/jdbc拷贝jdbc包

V8R3（不含）之上的版本，使用kingbase8-8.6.0.jar

V8R3(含)以下版本，使用kingbase8-8.2.0.jar

cd /home/flysync/KingbaseFlySync-V001R005C002B20210524-replicator/extensions/jdbc

cp kingbase8-8.6.0.jar /home/flysync/KingbaseFlySync-V001R005C002B20210524-replicator/flysync-replicator/lib

4、安装

cd   /home/flysync/KingbaseFlySync-V001R005C002B20210524-replicator/tools

./fspm install

5、复制license文件到安装目录

cp license.dat kfsrep/

6、配置rename【可选】

如果源端和目标端服务名不一样，或者数据库的模式名、表名、列名不一样，需要配置rename过滤器

----检查flysync.ini里有没有配置rename过滤器

svc-remote-filters=rename

没有的话进行添加，并使用命令fspm update更新配置

----修改rename.csv

cd  /home/flysync/kfsrep/filters-config

vi rename.csv

添加以下内容：

flysync_kes81,*,*,flysync_kes82,-,-

保存后启动或重启replicator

replicator restart

7、启动replicator

source ~/.bash_profile

replicator start

8、查看服务状态

fsrepctl services

fsrepctl -service kes82 status

备注：重置KUFL日志

fsrepctl -service kes81 offline

fsrepctl -service kes82 offline

fsrepctl -service kes81 reset -all -y

fsrepctl -service kes82 reset -all -y

replicator restart

沉舟侧畔千帆过_
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
墨天轮国产数据库沙龙 | 张晓庆：GoldenDB分布式数据库的自动安装与备份恢复
ToyaAkira00的博客
11-11 2045
本文为中兴通讯GoldenDB资深DBA——张晓庆在“墨天轮国产数据库沙龙”中分享的内容整理而成。重点讲解GoldenDB分布式数据库的自动安装与备份恢复。
tungsten-replicator-5.0.1-138.tar.gz
10-26
tungsten-replicator-5.0.1-138.tar.gz 。
Interface Port Replicator and Mirror-开源
05-07
这是流量复制器，而镜像是通过SharpPcap制作的应用程序，它利用Libpcap上的标准包装将计算机（物理/虚拟）的一个接口上的流量镜像到另一个（物理/虚拟）的接口。
人大金仓数据库Kingbase FlySync同步程序安装
weixin_44312518的博客
10-26 351
Kingbase FlySync同步程序（以下简称 KFS）是面向异地容灾、数据集中共享的场景推出的具备在异构数据平台间实现实时、增量数据同步的工具类产品，主要采用了物理日志解析技术，帮助用户解决不同数据平台的数据间可实现任意方向实时移动流转的问题，并保证此过程中数据不丢失，状态可监控，流转数据量可统计。KFS 需要安装的主要组件有 2 个，分别是后端同步程序和管理控制平台，另外KFS的部署方式也有2种，为分离部署何集中部署•集中部署：KFS与数据库部署在同一机器上。
Kingbase FlySync KingbaseES V8 至KingbaseES V8 安装部署最佳实践
w261109262的博客
09-04 148
1.1 版权声明 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5。1.3 技术支持 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6。
【Kingbase FlySync】命令模式:安装部署同步软件，实现Oracle到KES实现同步
圈小圈DBA的博客
11-18 636
最大文件句柄数（open files）、允许创建的最大进程数量（max user processes）最大文件句柄数（open files）、允许创建的最大进程数量（max user processes）请先停止服务然后修改flysync.ini文件，并用fspm update进行更新即可。检查replicator状态。确保同步进程处于【OFFLINE：NORMAL】状态。/etc/sysconfig/network内容改为。/etc/sysconfig/network内容改为。
人大金仓数据库Kingbase FlySync控制台程序安装
weixin_44312518的博客
10-26 198
Kingbase FlySync同步程序（以下简称 KFS）是面向异地容灾、数据集中共享的场景推出的具备在异构数据平台间实现实时、增量数据同步的工具类产品，主要采用了物理日志解析技术，帮助用户解决不同数据平台的数据间可实现任意方向实时移动流转的问题，并保证此过程中数据不丢失，状态可监控，流转数据量可统计。如下是安装包及其重要组件。KingbaseFlySync-V00XR00XC00XBYYYYMMDD-Linux-XXXX.tar.gz Kingbase FlySync Linux 平台一体化安装包。
人大金仓Kingbase FlySync的管控平台命令行安装
weixin_44312518的博客
11-01 113
Manager、console、compare一定要按照上述顺序配置启动，如有报错可以查看相关log文档，结合报错信息，进行排查。
Kingbase FlySync版本升级（专用机）
arthemis_14的博客
12-07 991
Kingbase FlySync版本升级（专用机）
人大金仓数据库软件下载
Ray Song 的 blog
02-25 4385
作为国产数据库的头部企业，人大金仓的数据库基于开源数据库PostgreSQL开发而成，具有较好的性能及使用体验。
rh-java-common-lucene-replicator-4.8.0-6.7.el7.noarch.rpm
12-30
官方离线安装包，测试可用。使用rpm -ivh [rpm完整包名] 进行安装
PyPI 官网下载 | cognite_replicator-0.7.6-py3-none-any.whl
02-14
资源来自pypi官网，解压后可用。 资源全名：cognite_replicator-0.7.6-py3-none-any.whl
卡巴斯基2014/10.0 KEY文件下载 - KES 10.0下载
wangwangtongtong的专栏
02-20 4496
KES全称Kaspersky Endpoint Security，是卡巴斯基出品的企业级杀毒软件，跟KIS个人版相比较，KES功能更加强大，也更加稳定；没有花俏的界面，打开软件，各种功能一目了然，直接就可修改所有参数。 KEY文件到期时间为2015年5月1日，大家可下载试用！ KEY文件下载：KES10.0—KEY文件下载 KES下载： Kaspersky Endpo
kingbaseflysync 环境准备
myhost_的专栏
01-02 442
kingbase 金仓数据库 同步配置
Kingbase FlySync V1R6 管控平台Linux命令行安装
arthemis_14的博客
12-07 565
Kingbase FlySync V1R6 管控平台Linux命令行安装
KingbaseFlySync 评估工具的使用
arthemis_14的博客
12-29 800
KingbaseFlySync 评估工具的使用
KFS replicator安装（KES-KES）
lyu1026的博客
12-28 958
源端 一、安装前置配置 1、创建安装用户 groupadd flysync useradd flysync -g flysync -G kingbase passwd flysync 2、上传安装文件包和license文件到服务器/home/flysync目录下，并解压 tar -xzvf KingbaseFlySync-V001R005C002B20210524-replicator.t...
RabbitMQ简单使用方法，以异步处理日志为例：
最新发布
守护大白菜的博客
05-31 416
通过上述步骤，您可以实现PHP中使用RabbitMQ进行异步日志记录，并确保消费者可以持续运行，无缝处理日志消息。将消费者脚本配置为systemd服务，这样系统会自动处理消费者进程管理，并确保它在崩溃或重启后仍然运行。Supervisor是一个进程管理工具，可以用来管理消费者进程。命令在后台运行消费者进程，并确保其在会话结束后仍然运行。2.重新加载systemd配置，启动并启用服务。这段代码会将日志消息发送到RabbitMQ队列中。这段代码会持续运行，监听队列并处理日志消息。目录下创建服务文件，如。
tungsten replicator 架构
02-07
Tungsten Replicator架构是一种用于数据复制和同步的开源工具。它是由一组组件组成，用于从一个数据库到另一个数据库的数据复制。 Tungsten Replicator的主要组件包括： 1. 提供数据变更的源数据库：源数据库可以...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值