KingbaseFlySync V1R6 管控平台Linux命令行安装

关键字：

KingbaseFlySync、KingbaseES、Linux、x86_64、mips64el、aarch64、Java

管控平台：

Web管控平台(Manager、Console、Compare组件)
	Manager(服务中心，对Console和Compare提供注册服务)
	Console管理控制台(必须注册到Manager后才能使用，提供Web管理服务)
		用户和角色管理
		实时状态监控
		图形化数据搬迁
		KFS图形化部署(部署KFS同步服务程序)
	Comare比对服务(必须主测到Manager后才能使用，提供Compare数据校验比对功能)
		图形化数据校验比对
	Console元信息数据库
		作为Web管理界面的后台数据库，存储用户角色信息，监控状态信息等内容
	Compare元信息数据库
		作为数据比对服务后台数据库，存储比对的数据和结果等内容
		
Web管控平台与KFS服务端的关系：
	KFS服务端可独立于Web管控平台单独运行，实时同步业务与Web管控平台无关系，源端目标端实例服务启动后，自动开始实时同步；且支持命令行的数据搬迁；
Web管控平台也可独立于KFS服务端单独运行，通过在web平台添加源端目标端的节点信息，将KFS服务端与WEB监控平台关联起来，实现对KFS同步服务的监控和数据统计；并提供图形化的数据搬迁功能以及数据校验功能；

适用说明：

KingbaseFlySync V1R6管控平台Linux命令行安装，用于KFS业务上线前部署安装以及测试。
本测试文档适用于KingbaseFlySyncV1R5、V1R6版本，其他版本使用前请在线下测试。
部署前请参考KingbaseFlySync具体部署版本的产品手册《Kingbase FlySync 部署前评估指南》进行评估，规避安装部署中风险与问题。

案例说明：

此次测试案例用于KingbaseFlySync V1R6 控制台安装，主要分为两个步骤：
1、         安装前环境准备。
2、         管控平台命令行安装。

操作系统和数据库版本：

1)操作系统环境
CentOS Linux release 7.5.1804 (Core)

2)金仓异构数据同步软件
Kingbase FlySync V001R006B20210817

前期准备：

1、 管控平台服务器(192.168.4.148)。
2、 在管控平台服务器已安装KingbaseES V008R006C003B0062元数据库。
2、 关闭新增节点防火墙和selinux并启动crond服务。

一、安装前环境准备

1.1 检查操作系统版本

请用户根据 Kingbase FlySync 的环境支持列表检查并确定操作系统版本符合要求，具体检查方法此处不赘述。

1.2 检查网络环境和网络端口

Kingbase FlySync 默认使用的端口：

端口	备注
8089	Kingbsae FlySync 管控平台默认监听端口
8090	Kingbsae FlySync 服务中心默认监听端口
8091	Kingbsae FlySync 比对服务默认监听端口

为了使需要进行同步的两端设备可以保持正常通信，请确认以上端口检查配置打开，若同步环境存在防火墙配置，需要确保以上端口通信的畅通。同时需要确保本地 localhost 端到端回环通信连接未受到限制。不同用户环境的安全规则设置各有不同，需要用户另行根据实际情况配置，本文档不作赘述。

1.3 物理机器配置配置系统帐号

Kingbase FlySync 部署之前，需要建立独立的运行帐号.
[root@dn02 ~]# sudo adduser flysync
将元数据库的安装用户Kingbase 的属组kingbase赋予 Kingbase FlySync 帐号。
[root@dn02 ~]# sudo usermod -G kingbase flysync

使用新帐号登录

执行命令
[root@dn02 ~]# su - flysync

1.3.1 在配置用户环境用户环境配置包括对以下几个部分配置检查和确认

1. 系统属性检查及配置

ulimit 用于限制 shell 启动进程所占用的资源。因 Kingbase FlySync 在运行时，会需要打开大量的文件句柄，所以需要检查一下系统相关的 ulimit 属性参数是否能够满足要求：
[flysync@dn02 ~]$ ulimit -a # 执行该命令，资源限制详情如下
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
file size (blocks, -f) unlimited
max locked memory (kbytes, -l) unlimited
max memory size (kbytes, -m) unlimited
open files (-n) 256
pipe size (512 bytes, -p) 1
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 709
virtual memory (kbytes, -v) unlimited

Kingbase FlySync 进程涉及的几个限制包括最大文件句柄数(open files)、允许创建的最大进程数量(max user processes)，以上示例表明，open files 和 max user processes 的参数值不符合运营配置要求，可通过修改 /etc/security/limits.conf 配置文件进行调整。

[root@dn02 ~]# vi /etc/security/limits.conf
在文件末尾添加以下内容：
flysync - nofile 65535
flysync - nproc 8096
其中：
– 第 1 列表示配置的 OS 用户名(根据实际用户修改)
– 第 3 列表示配置的属性(nofile 表示打开文件数，nproc 表示打开的进程数)
– 第 4 列表示配置的数值
完成修改后，退出当前 session，重新登录。再次通过命令“ulimit -a”检查配置是否生效。

2. hosts 文件配置

为了保证后续系统的正常部署和运行，必须为后续参与同步操作的每个机器配置机器名，修改 /etc/hosts 文件，例如：若有 3 个物理设备，需要参与同步操作，配置如下：
[root@dn02 ~]# vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.4.147 dn01
192.168.4.148 dn02
192.168.4.149 dn03
– 确认其他机器的 IP 地址是否正确
[root@dn02 ~]# nslookup dn01
[root@dn02 ~]# ping dn01
[root@dn02 ~]# nslookup dn03
[root@dn02 ~]# ping dn03

1.3.2时钟同步检查

查看参与数据同步的两端所在物理机器的当前系统时间，需要保证时间彼此一致，否则可能会造成同步程序工作异常。

1.3.3 系统部署依赖软件检查

系统安装部署依赖软件检查表(根据实际情况参照)：

软件	版本	备注
jdk	1.8 及以上	必须
Kingbase	V8R6	Kingbase FlySync 管控平台运行所需依赖(视情况检查)

二、Linux 平台手动安装

2.1 安装前准备

管控平台手动部署采用独立的压缩包。
1. KingbaseFlySync-V001R006C002B20210817-manager.tar.gz
2. KingbaseFlySync-V001R006C002B20210817-console.tar.gz
3. KingbaseFlySync-V001R006C002B20210817-compare.tar.gz

2.2 解压缩手动部署安装包

管控平台采用独立的压缩包，直接通过命令行解压即可。

[root@dn02 ~]# cd /opt/
[root@dn02 opt]# mkdir KFS
[root@dn02 opt]# chown flysync:flysync KFS/ -R
[root@dn02 ~]# su - flysync
[flysync@dn02 KFS]$ tar -zxvf KingbaseFlySync-V001R006C002B20210817-console.tar.gz
[flysync@dn02 KFS]$ tar -zxvf KingbaseFlySync-V001R006C002B20210817-manager.tar.gz
[flysync@dn02 KFS]$ tar -zxvf KingbaseFlySync-V001R006C002B20210817-compare.tar.gz
[flysync@dn02 KFS]$ mv KingbaseFlySync-V001R006C002B20210817-compare compare
[flysync@dn02 KFS]$ mv KingbaseFlySync-V001R006C002B20210817-console console
[flysync@dn02 KFS]$ mv KingbaseFlySync-V001R006C002B20210817-manager manager

2.3 元数据库配置：

1 控制台元数据库配置。
控制台元数据库支持内置 Derby、MySQL 及 KingbaseES V8 作为后台元数据库。本文使用 KingbaseES V008R006C003B0062 数据库作为元数据库的配置方式如下：
1.1 创建元数据库(其工作模式必须是oracle兼容)
CREATE DATABASE "flysync_console";
1.2 将 Kingbase 库的 sql 文件 flysync-console-kingbase.sql 导入到 KingbaseESV8 的库中 (要导入到 V8 库的默认模式下，默认为 PUBLIC)，其中 ${USER}、${PASSWORD}、${sql 文件路径}根据实际情况修改。flysync-console-kingbase.sql 默认在解压后根目录下。
./ksql -U ${USER} -W ${PASSWORD} -d flysync-console -p 54321 -f ${sql 文件路径};
[kingbase@dn02 bin]$ ./ksql -U system -W -d flysync_console -p 54321 -f /opt/KFS/console/flysync-console-kingbase.sql
1.3 修改配置文件
在一台window系统机器上解压缩KingbaseFlySync-V001R006C002B20210817-console.tar.gz
在解压缩目录KingbaseFlySync-V001R006C002B20210817-console\lib下，解压flysync-console.jar 文件。
找到:
BOOT-INF/classes/application-kingbase.properties
打开后修改数据库连接地址：
spring.datasource.url=jdbc:kingbase8://127.0.0.1:54321/flysync_console?database=:oracle:
spring.datasource.username=system
spring.datasource.password=123456
找到:
BOOT-INF/classes/application.properties
打开后修改元数据库信息:
spring.profiles.active=kingbase
1.4 上传配置文件
将修改好的配置文件application-kingbase.application.properties上传到管控平台服务器的/opt/KFS/console/conf目录。

2.2 比对服务元数据库配置。
比对服务元数据库支持内置 MySQL 及 KingbaseES V8 作为后台元数据库。本文使用KingbaseES V008R006C003B0062作为元数据库的配置方式如下：
2.1 创建元数据库(其工作模式必须是oracle兼容)
CREATE DATABASE "flysync_compare";
2.2 将 Kingbase 库的 sql 文件 flysync-compare-kingbase.sql 导入到 KingbaseESV8 的库中 (要导入到 V8 库的默认模式下，默认为 PUBLIC)，其中 ${USER}、${PASSWORD}、${sql 文件路径}根据实际情况修改。flysync-console-kingbase.sql 默认在解压后根目录下。
[kingbase@dn02 bin]$./ksql -U system -W -d flysync_compare -p 54321 -f /opt/KFS/compare/flysync-compare-kingbase.sql
2.3 修改配置文件
在一台window系统机器上解压缩KingbaseFlySync-V001R006C002B20210817-compare.tar.gz
在KingbaseFlySync-V001R006C002B20210817-compare\lib下，解压缩kfs-compare.jar文件
找到:
BOOT-INF/classes/application-kingbase.properties
打开后修改数据库连接信息:
spring.datasource.url=jdbc:kingbase8://127.0.0.1:54321/flysync_compare?database=:oracle:
spring.datasource.username=system
spring.datasource.password=123456
找到:
BOOT-INF/classes/application.properties
打开后修改元数据库信息:
spring.profiles.active 的参数为 kingbase
2.4 上传配置文件
将修改好的配置文件application-kingbase.application.properties上传到管控平台服务器的/opt/KFS/compare/conf目录。
2.5 jdbc驱动拷贝
放置 jdbc 到 lib 目录下:
[flysync@dn02 compare]$cd /opt/KFS/compare
[flysync@dn02 compare]$cp extensions/jdbc/kingbase8-8.6.0.jar lib/

2.4 安装产品 License 授权文件

需将产品提供的 license.dat 文件复制到管控平台的安装目录/opt/KFS/下。
[flysync@dn02 KFS]$ cp /home/flysync/license.dat /opt/KFS/license.dat

2.5 启动管控平台

Kingbase FlySync 的管控平台启动命令
[flysync@dn02 ~]$/opt/KFS/manager/bin/fsmanager start
[flysync@dn02 ~]$/opt/KFS/console/bin/fsconsole start
[flysync@dn02 ~]$/opt/KFS/compare/bin/fscompare start

注意：
Kingbase FlySync 的管控平台停止命令
[flysync@dn02 ~]$/opt/KFS/manager/bin/fsmanager stop
[flysync@dn02 ~]$/opt/KFS/console/bin/fsconsole stop
[flysync@dn02 ~]$/opt/KFS/compare/bin/fscompare stop

Kingbase FlySync 的管控平台状态查看命令
[flysync@dn02 ~]$/opt/KFS/manager/bin/fsmanager status
[flysync@dn02 ~]$/opt/KFS/console/bin/fsconsole status
[flysync@dn02 ~]$/opt/KFS/compare/bin/fscompare status

• 服务中心日志路径
/opt/KFS/manager/log/fsmanagersvc.log # 服务运行信息，包括终端输出，故障重启等
/opt/KFS/manager/log/flysync-manager.log # 服务中心内部日志

• 管理控制台日志路径
/opt/KFS/console/log/fsconsolesvc.log # 服务运行信息，包括终端输出，故障重启等
/opt/KFS/console/log/flysync-console.log # 管理控制台平台内部日志

• 比对服务日志路径
/opt/KFS/compare/log/fscomparesvc.log # 服务运行信息，包括终端输出，故障重启等
/opt/KFS/compare/log/flysync-compare.log # 比对服务内部日志

2.6 访问管控平台

启动管控平台后，用谷歌浏览器打开默认登录地址http://192.168.4.148:8089/。
默认帐号密码为：admin/admin

2.7 配置开机自启(可选)

根据客户需求配置管控平台服务开机自启：
[flysync@dn02 ~]$/opt/KFS/manager/bin/fsmanager install

参考文档：

《Kingbase FlySync 安装部署手册》